Ключевые слова¶

keyness(text="", path=null, reference=null, reference_path=null, measure="log_likelihood", positive=true, min_freq=2, lemmatize=true, top_n=20)

Ключевые слова - слова, которые в тексте значимо чаще (или, с positive=false, реже), чем в эталоне. Эталон по умолчанию - частотный словарь Ляшевской и Шарова (современный русский язык, 92 млн словоупотреблений; его скачивает ruts-mcp download), и тогда ответ показывает, чем лексика текста отличается от обычного языка. Эталоном может быть и другой текст: reference или reference_path. Определения и формулы мер - на странице ruTS Ключевые слова.

Слова сравниваются в нижнем регистре и с е вместо ё. Со словарем леммы сравниваются всегда, числа и слова с латиницей отбрасываются, а слово вне словаря получает его наименьшую частоту: имена, термины и опечатки попадают в ключевые слова. Статьи словаря, к которым не приводится ни одно слово текста (его, ее, их, во, со - формы лемм он, она, они, в, с), в слова, которые чаще в эталоне, не попадают. Если в эталоне слова нет, Log Ratio - оценка с поправкой 0,5 и бывает меньше нуля, хотя слово чаще в тексте. p-значение не поправлено на число проверенных слов: надежнее p < 0,0001 (g2 от 15,13).

Ошибки - общие для инструментов и:

эталон не задан, а частотный словарь не скачан или поврежден;
эталон не задан, а в тексте нет слов из кириллических букв;
в тексте или в эталоне нет слов.

ВызовРезультат

{
  "name": "keyness",
  "arguments": {
    "text": "Кот сидел на окне и смотрел на птиц. Птицы улетели, и кот уснул на окне. Завтра кот снова будет сидеть на окне и смотреть на птиц.",
    "reference": "Кот спал на диване, а собака лежала у двери и ждала хозяина. Хозяин пришел поздно, и собака обрадовалась.",
    "min_freq": 2,
    "top_n": 3
  }
}

{
  "n_words": 26,
  "reference": "текст-эталон, 18 слов",
  "measure": "log_likelihood: логарифм правдоподобия G² (Rayson и Garside 2000): значимость различия, со знаком минус - слово чаще в эталоне; критические значения: 3.84 - p < 0.05, 6.63 - p < 0.01, 10.83 - p < 0.001, 15.13 - p < 0.0001",
  "keywords": [
    {
      "word": "окно",
      "freq_target": 3,
      "freq_reference": 0.0,
      "ipm_target": 115400.0,
      "ipm_reference": 0.0,
      "g2": 3.157,
      "p_value": 0.07562,
      "log_ratio": 2.054,
      "score": 3.157
    },
    {
      "word": "птица",
      "freq_target": 3,
      "freq_reference": 0.0,
      "ipm_target": 115400.0,
      "ipm_reference": 0.0,
      "g2": 3.157,
      "p_value": 0.07562,
      "log_ratio": 2.054,
      "score": 3.157
    },
    {
      "word": "сидеть",
      "freq_target": 2,
      "freq_reference": 0.0,
      "ipm_target": 76920.0,
      "ipm_reference": 0.0,
      "g2": 2.104,
      "p_value": 0.1469,
      "log_ratio": 1.469,
      "score": 2.104
    }
  ],
  "warnings": []
}

Параметры¶

Параметр	Тип	По умолчанию	Описание
`text`	`string`	`""`	Текст
`path`	`string`	`null`	Абсолютный путь к файлу с текстом вместо `text`
`reference`	`string`	`null`	Текст-эталон; не задано - частотный словарь
`reference_path`	`string`	`null`	Абсолютный путь к файлу с текстом-эталоном вместо `reference`
`measure`	`string`	`"log_likelihood"`	Мера сортировки: `log_likelihood`, `log_ratio`, `chi2`, `diff`, `bic`, `ell`, `odds_ratio`; `log_likelihood` - значимость различия, `log_ratio` - во сколько раз слово чаще
`positive`	`boolean`	`true`	Слова, которые чаще в тексте; `false` - которые чаще в эталоне
`min_freq`	`integer`	`2`	Наименьшая частота слова там, где оно чаще
`lemmatize`	`boolean`	`true`	Сравнивать леммы; со словарем леммы сравниваются всегда
`top_n`	`integer`	`20`	Число слов в ответе, до 200

Результат¶

Поле	Тип	Описание
`n_words`	`integer`	Число слов текста, которые сравниваются с эталоном
`reference`	`string`	Эталон
`measure`	`string`	Мера сортировки и как читать ее значения
`keywords`	`array[object]`	Слова по убыванию меры с полями ниже
`warnings`	`array[string]`	Текст или эталон не на русском языке, ключевых слов нет

Поле слова	Описание
`word`	Слово или лемма
`freq_target`, `freq_reference`	Частота в тексте и в эталоне
`ipm_target`, `ipm_reference`	Они же на миллион слов
`g2`	Логарифм правдоподобия G²: значимость различия, со знаком минус - слово чаще в эталоне
`p_value`	p-значение G²
`log_ratio`	Log Ratio: двоичный логарифм отношения частот, размер эффекта; 1 - слово вдвое чаще в тексте
`score`	Значение меры сортировки