Удалить повторяющиеся строки онлайн — убрать дубли из списка
Удаляет повторы строк и оставляет первую из каждой, не меняя порядок
Работает в браузере · файлы никуда не загружаются
Что это за инструмент
Инструмент находит повторяющиеся строки в списке и оставляет только первое вхождение каждой. Вставьте адреса электронной почты, ключевые слова, строки логов или значения настроек, по одному на строку, и сразу получите очищенный список с числом строк до обработки, оставленных и удаленных.
Как пользоваться
- Вставьте строки в поле ввода, по одному элементу на строку.
- При необходимости включите опции: «Не учитывать регистр» считает «Яблоко» и «яблоко» одинаковыми, «Не учитывать пробелы по краям» сравнивает строки без окружающих пробелов, а «Удалить пустые строки» полностью убирает пустые строки.
- Список без дублей появляется в поле результата.
- Нажмите «Копировать», чтобы забрать результат.
Как это работает
- Текст делится по переводам строк (\n или \r\n) и читается сверху вниз. Уже встречавшаяся строка пропускается, новая добавляется в результат.
- Ключ сравнения — строка после нормализации Юникода NFC. В зависимости от опций она также обрезается по краям или переводится в нижний регистр. В результат всегда попадает исходная строка.
- Опция «Не учитывать регистр» приводит к нижнему регистру латиницу, кириллицу и другие письменности с регистром. На письменности без регистра, например китайскую и корейскую, она не влияет.
- По умолчанию пустые строки обрабатываются как обычные, поэтому остается одна из них. С опцией «Удалить пустые строки» исчезают все, причем строки только из пробелов или табуляций тоже считаются пустыми. Число удаленных пустых строк показывается отдельно от дублей.
- Если во вводе окончания строк в стиле Windows (\r\n), результат тоже будет с ними.
- Один перевод строки в самом конце не считается лишней пустой строкой.
Примеры
Строки на входе: яблоко, банан, яблоко, Яблоко, apple, банан, apple.
| Опция | Результат | Удалено |
|---|---|---|
| По умолчанию | яблоко, банан, Яблоко, apple | 3 строки |
| Не учитывать регистр | яблоко, банан, apple | 4 строки |
Частые вопросы
Какая из одинаковых строк остается?
Первая. Следующие копии удаляются, а оставшиеся строки сохраняют исходный порядок.
Обрезаются ли пробелы в результате, если их не учитывать?
Нет. Пробелы не учитываются только при сравнении строк. Оставленная строка остается в точности такой, как вы ее ввели.
Учитывается ли регистр русских букв?
По умолчанию да: «Москва» и «москва» — разные строки. С опцией «Не учитывать регистр» строки сравниваются в нижнем регистре, и это работает для кириллицы и латиницы.
Совпадут ли строки, которые выглядят одинаково, но записаны по-разному?
Перед сравнением каждая строка нормализуется по Юникоду (NFC), поэтому «й» одним символом и «и» с отдельным знаком краткости, а также составной и разложенный корейский текст считаются одинаковыми.
Загружаются ли мои строки на сервер?
Нет. Все выполняется в браузере.
