Перейти к содержанию

Коллокации

collocations(text="", path=null, window=5, measure="logdice", min_freq=2, node=null, lemmatize=true, top_n=20)

Коллокации - пары слов, которые встречаются вместе чаще, чем случайно: устойчивые сочетания, термины, сочетаемость слова (node). Пара упорядочена: правое слово стоит не дальше window слов после левого. С lemmatize сравниваются леммы, без снятия омонимии: «точка зрения» и «точки зрения» - одна пара. Определения и формулы мер - на странице ruTS Коллокации.

Частота пары freq_pair - число пар позиций, где правое слово стоит в окне после левого. Слово, повторенное в окне, дает несколько пар, поэтому freq_pair бывает больше частоты слова, и такая пара - повтор, а не устойчивое сочетание.

Ошибки - общие для инструментов, текст без слов и node не из одного слова.

{
  "name": "collocations",
  "arguments": {
    "text": "Кот сидел на окне и смотрел на птиц. Птицы улетели, и кот уснул на окне. Завтра кот снова будет сидеть на окне и смотреть на птиц.",
    "top_n": 3
  }
}
{
  "n_words": 26,
  "measure": "logdice: logDice (Rychlý 2008): чем выше, тем устойчивее пара, не зависит от размера текста; пара, которая всегда стоит рядом, получает 11.7, наибольшее значение 14 - у пары, которая встречается на каждом расстоянии в окне, ниже нуля - слабая связь",
  "collocations": [
    {"left": "на", "right": "птица", "freq_left": 5, "freq_right": 3, "freq_pair": 5, "score": 12.0},
    {
      "left": "смотреть",
      "right": "птица",
      "freq_left": 2,
      "freq_right": 3,
      "freq_pair": 3,
      "score": 11.94
    },
    {
      "left": "сидеть",
      "right": "на",
      "freq_left": 2,
      "freq_right": 5,
      "freq_pair": 4,
      "score": 11.87
    }
  ],
  "warnings": []
}

Параметры

Параметр Тип По умолчанию Описание
text string "" Текст
path string null Абсолютный путь к файлу с текстом вместо text
window integer 5 Наибольшее расстояние между словами пары, от 1 до 10; 1 - соседние слова
measure string "logdice" Мера ассоциации: logdice, mi, mi3, t_score, dice, log_likelihood, npmi, min_sensitivity; logdice не зависит от размера текста, mi завышает редкие пары, mi3 и t_score отдают предпочтение частым
min_freq integer 2 Наименьшая частота пары freq_pair
node string null Слово, сочетаемость которого нужна; не задано - все пары
lemmatize boolean true Сравнивать леммы
top_n integer 20 Число пар в ответе, до 200

Результат

Поле Тип Описание
n_words integer Число слов текста
measure string Мера и как читать ее значения
collocations array[object] Пары по убыванию меры: левое слово left, правое right, их частоты freq_left и freq_right, частота пары freq_pair и значение меры score
warnings array[string] Текст не на русском языке, слова node нет в тексте, пар с такой частотой нет