Блог
Русский

Нормализация Юникода онлайн — NFC, NFD, NFKC, NFKD

Нормализация Юникода для текста и имен файлов, включая разложенные имена из macOS

Работает в браузере · файлы никуда не загружаются

Форма нормализации

Выберите NFC, чтобы исправить разложенный текст — например, имена файлов с й, ё, буквами с диакритикой или корейскими слогами, созданные на Mac (обычно в NFD).

Преобразовать текст

Пример сохранен в разложенном виде (NFD), как macOS хранит имена файлов. Он выглядит так же, но при сравнении считается другим текстом.

  • Разложенных чамо хангыля: 0
  • Символов совместимости, которые изменит NFKC: 0

Преобразовано в NFC: кодовых точек 29 → 25

Результат
Отчёт за май – Résumé.pdf
Показать кодовые точки
До
U+041E U+0442 U+0447 U+0435 U+0308 U+0442 U+0020 U+0437 U+0430 U+0020 U+043C U+0430 U+0438 U+0306 U+0020 U+2013 U+0020 U+0052 U+0065 U+0301 U+0073 U+0075 U+006D U+0065 U+0301 U+002E U+0070 U+0064 U+0066
После
U+041E U+0442 U+0447 U+0451 U+0442 U+0020 U+0437 U+0430 U+0020 U+043C U+0430 U+0439 U+0020 U+2013 U+0020 U+0052 U+00E9 U+0073 U+0075 U+006D U+00E9 U+002E U+0070 U+0064 U+0066

Массовое исправление имен файлов

Вставьте имена файлов по одному на строку или выберите файлы, чтобы скачать их в ZIP с нормализованными именами. Файлы не покидают ваш браузер.

Применяется Unicode Standard Annex #15 (Unicode Normalization Forms) через встроенный в браузер String.prototype.normalize. NFC и NFD никогда не меняют вид и смысл текста; NFKC и NFKD дополнительно сводят символы совместимости, такие как полноширинные буквы (A→A), цифры в кружках (①→1) и символы единиц (㎏→kg), поэтому текст может выглядеть иначе. Имена файлов в ZIP сохраняются в UTF-8.

Что это за инструмент

Нормализатор Юникода делает так, чтобы текст, который выглядит одинаково, был одинаковым и внутри. Одну и ту же букву можно записать несколькими способами: «й» — одной кодовой точкой или буквой «и» с комбинируемой бреве, «é» — одной точкой или «e» с акцентом, а корейский слог — одной точкой или тремя чамо. Смешение двух форм приводит к неудачному поиску, дублирующимся именам файлов и отклоненным загрузкам. Вставьте текст или имена файлов, выберите форму нормализации и получите единообразный результат.

Как пользоваться

  1. Выберите форму. Для исправления разложенного текста из macOS подходит NFC.
  2. Вставьте текст в первое поле. Результат появится сразу вместе с количеством разложенных чамо хангыля и символов совместимости.
  3. Откройте «Показать кодовые точки», чтобы сравнить значения до и после.
  4. В разделе имен файлов вставьте имена по одному на строку или выберите файлы.
  5. Если вы выбирали файлы, скачайте ZIP с нормализованными именами.

Как это работает

  • Четыре формы из Unicode Standard Annex #15 (Unicode Normalization Forms) применяются через встроенный в браузер String.prototype.normalize.
  • Разложенный хангыль считается по соединяемым чамо (U+1100–U+11FF и расширенные блоки). Чамо совместимости, набранные с клавиатуры, например ㅋ, разложенными не считаются. Отдельного счетчика для разложенных й и ё нет — их видно в кодовых точках.
  • Символы совместимости — это символы, форма NFKC которых отличается от формы NFC.
  • Имена файлов в ZIP сохраняются в UTF-8, а содержимое файлов — без повторного сжатия. За раз — до 200 файлов и 500 МБ; на телефонах и планшетах — 150 МБ, потому что ZIP собирается в памяти.

Примеры

Ввод Форма Результат
cafe + U+0301 (5 кодовых точек) NFC café (4)
café NFD cafe + U+0301
и + U+0306 (2 кодовые точки) NFC й (1)
A①㎏fi NFKC A1kgfi
разложенное 한글.txt (10 кодовых точек) NFC 한글.txt (6)
㈜ NFKC (주)

Частые вопросы

Почему имена файлов с Mac выглядят сломанными в других системах?

macOS хранит имена файлов в разложенном виде (NFD), поэтому й сохраняется как и плюс комбинируемая бреве, ё — как е плюс две точки, é — как e плюс акцент, а корейские слоги — как отдельные чамо. Некоторые программы для Windows и веб-формы показывают эти части по отдельности или считают имя другим текстом. Преобразование в NFC снова соединяет их.

Может ли инструмент переименовать файлы на моем компьютере?

Веб-страница не может переименовывать файлы на диске. Выберите файлы и скачайте их в ZIP-архиве с нормализованными именами или скопируйте исправленный список имен.

Чем отличаются NFC и NFKC?

NFC только соединяет эквивалентные символы, поэтому текст выглядит и означает то же самое. NFKC дополнительно сводит символы совместимости — полноширинные буквы, цифры в кружках, лигатуры вроде fi и символы единиц вроде ㎏ — к обычным символам, из-за чего вид текста может измениться.

Строки выглядят одинаково. Почему это важно?

Текст в NFC и NFD может выглядеть одинаково, но при сравнении считаться разным, а это ломает поиск, проверку на дубликаты и загрузку файлов. Откройте «Показать кодовые точки», чтобы увидеть реальные значения.

Что-нибудь загружается на сервер?

Нет. Нормализация и сборка ZIP выполняются в вашем браузере.

Не нашли нужный инструмент?