Частота слов в тексте и плотность ключевых слов

Что это такое

Счётчик частоты слов, который превращает любой текст в упорядоченную таблицу. Вставьте статью, сочинение или описание товара — и сразу увидите каждое слово, сколько раз оно встречается и какую долю текста составляет. Повторяющиеся слова поднимаются наверх, поэтому легко поймать любимое словечко, которым вы злоупотребляете, или убедиться, что главная тема действительно доминирует на странице.

Есть три режима. «Слова» считает слова целиком, «Символы» — отдельные символы, а «Плотность ключевых слов» берёт заданные вами ключевые слова и показывает, сколько раз встречается каждое и какую часть текста оно занимает. Любую таблицу можно скопировать в формате TSV (через табуляцию) и вставить прямо в электронную таблицу. Инструмент работает с русским, английским, китайским, корейским и другими языками, потому что границы слов определяет встроенная в браузер сегментация Юникода.

Как пользоваться

1. Вставьте текст в поле. Там уже есть пример, поэтому результаты видны сразу.
2. Выберите режим: «Слова», «Символы» или «Плотность ключевых слов».
3. Настройте параметры: регистр, числа, минимальную длину (опция отсечения частиц предназначена только для корейского текста).
4. Добавьте слова, которые нужно исключить, — по одному на строку или через запятую.
5. Выберите, сколько строк показывать (10, 20, 50 или все), и при необходимости скопируйте таблицу.

Как это работает

• Слова — это словоподобные сегменты, которые возвращает Intl.Segmenter с разбиением по словам, поэтому буквы и цифры учитываются, а эмодзи и знаки препинания — нет. Сокращения вроде английского «don’t» остаются одним словом. Текст сначала нормализуется в NFC.
• Формы слов не объединяются: слово считается так, как написано, без лемматизации, поэтому «зёрна» и «зёрен» — разные слова.
• Регистр по умолчанию не учитывается: перед подсчётом всё переводится в строчные буквы.
• Числа: если «Учитывать числа» выключено, слова только из цифр, точек и запятых (2026, 3.14) отбрасываются.
• Минимальная длина — целое число от 1 до 50 в видимых символах.
• Список исключений: слово должно совпасть полностью (с той же обработкой регистра). При включённом отсечении частиц слово исключается, если совпадает его исходная или укороченная форма.
• Отсечение корейских частиц на этой странице по умолчанию выключено и касается только слов, написанных одним хангылем, — на русские слова оно не влияет. Если включить, у такого слова, оканчивающегося на частицу из списка (에서, 에게, 으로, 까지, 부터, 처럼, 보다, 하고, 이나, 이랑, 은, 는, 이, 가, 을, 를, 의, 에, 로, 와, 과, 도, 만, 나, 랑), отсекается самая длинная подходящая, но только если остаётся не меньше двух слогов. Это сравнение со списком, а не грамматический анализ, поэтому возможны ошибки.
• Режим символов считает видимые символы (графемные кластеры), поэтому 👍🏽 — это один символ. Пробелы и переносы строк пропускаются всегда; знаки препинания пропускаются, если не снять соответствующий флажок. Эмодзи и прочие символы учитываются.
• Доля = количество ÷ всего учтённых элементов × 100, до двух знаков после запятой. При равенстве сохраняется порядок первого появления.
• Плотность ключевых слов = число вхождений × количество слов в ключевом слове ÷ общее число слов × 100. Здесь общее число — все слова текста; список исключений, минимальная длина и настройка чисел на него не влияют.
• Ограничения: 200 000 символов текста, 20 000 символов в списке исключений и 50 ключевых слов.

Примеры

Результаты для примера о кофе (38 слов):

Слово	Количество	Доля
кофе	3	7,89%
зёрна	3	7,89%
чем	2	5,26%
и	2	5,26%
тем	2	5,26%

Добавьте «и, в, тем» в список исключений — общий итог уменьшится до 33, и доля «кофе» и «зёрна» вырастет до 9,09% у каждого. Обратите внимание, что форма «зёрен» в примере считается отдельно от «зёрна». В режиме плотности ключевых слов «кофе» находится 3 раза (7,89%), а «кофейные зёрна» — один раз: 1 × 2 ÷ 38 × 100 = 5,26%.