Коллокации¶
collocations(text="", path=null, window=5, measure="logdice", min_freq=2, node=null, lemmatize=true, top_n=20)
Коллокации - пары слов, которые встречаются вместе чаще, чем случайно: устойчивые сочетания, термины, сочетаемость слова (node). Пара упорядочена: правое слово стоит не дальше window слов после левого. С lemmatize сравниваются леммы, без снятия омонимии: «точка зрения» и «точки зрения» - одна пара. Определения и формулы мер - на странице ruTS Коллокации.
Частота пары freq_pair - число пар позиций, где правое слово стоит в окне после левого. Слово, повторенное в окне, дает несколько пар, поэтому freq_pair бывает больше частоты слова, и такая пара - повтор, а не устойчивое сочетание.
Ошибки - общие для инструментов, текст без слов и node не из одного слова.
{
"name": "collocations",
"arguments": {
"text": "Кот сидел на окне и смотрел на птиц. Птицы улетели, и кот уснул на окне. Завтра кот снова будет сидеть на окне и смотреть на птиц.",
"top_n": 3
}
}
{
"n_words": 26,
"measure": "logdice: logDice (Rychlý 2008): чем выше, тем устойчивее пара, не зависит от размера текста; пара, которая всегда стоит рядом, получает 11.7, наибольшее значение 14 - у пары, которая встречается на каждом расстоянии в окне, ниже нуля - слабая связь",
"collocations": [
{"left": "на", "right": "птица", "freq_left": 5, "freq_right": 3, "freq_pair": 5, "score": 12.0},
{
"left": "смотреть",
"right": "птица",
"freq_left": 2,
"freq_right": 3,
"freq_pair": 3,
"score": 11.94
},
{
"left": "сидеть",
"right": "на",
"freq_left": 2,
"freq_right": 5,
"freq_pair": 4,
"score": 11.87
}
],
"warnings": []
}
Параметры¶
| Параметр | Тип | По умолчанию | Описание |
|---|---|---|---|
text |
string |
"" |
Текст |
path |
string |
null |
Абсолютный путь к файлу с текстом вместо text |
window |
integer |
5 |
Наибольшее расстояние между словами пары, от 1 до 10; 1 - соседние слова |
measure |
string |
"logdice" |
Мера ассоциации: logdice, mi, mi3, t_score, dice, log_likelihood, npmi, min_sensitivity; logdice не зависит от размера текста, mi завышает редкие пары, mi3 и t_score отдают предпочтение частым |
min_freq |
integer |
2 |
Наименьшая частота пары freq_pair |
node |
string |
null |
Слово, сочетаемость которого нужна; не задано - все пары |
lemmatize |
boolean |
true |
Сравнивать леммы |
top_n |
integer |
20 |
Число пар в ответе, до 200 |
Результат¶
| Поле | Тип | Описание |
|---|---|---|
n_words |
integer |
Число слов текста |
measure |
string |
Мера и как читать ее значения |
collocations |
array[object] |
Пары по убыванию меры: левое слово left, правое right, их частоты freq_left и freq_right, частота пары freq_pair и значение меры score |
warnings |
array[string] |
Текст не на русском языке, слова node нет в тексте, пар с такой частотой нет |