Перейти к содержанию

Установка

Для начала работы с библиотекой ее можно установить с помощью утилиты pip или склонировав репозиторий проекта через git.

Зависимости

Функционал ruTS использует следующие сторонние библиотеки:

  • python - 3.11 и выше
  • nltk
  • pymorphy3
  • razdel
  • scipy
  • spaCy - 3.7.0 и выше
  • numpy
  • pandas
  • matplotlib
  • graphviz

Установка с помощью pip

Наберите в командной строке:

pip install ruts

В результате будет установлена релизная версия библиотеки и все зависимости.

Graphviz

Пакет graphviz из зависимостей - только обертка: для отрисовки дерева слов и сети коллокаций нужны исполняемые файлы Graphviz (brew install graphviz, apt install graphviz, conda install graphviz), иначе render() и показ графа в Jupyter завершатся ошибкой ExecutableNotFound. Остальному функционалу они не нужны.

Быстрый морфологический разбор

Для корпусов ставьте библиотеку с extra fast:

pip install "ruts[fast]"

Оно добавляет C-расширение DAWG2 для pymorphy3 (только CPython, колеса есть для Linux, macOS и Windows): разбор словоформ ускоряется примерно в 5 раз (175 против 34 тысяч словоформ в секунду), MorphStats на тексте в 70 тысяч слов - на треть, потому что разбор кэшируется по словоформе и остальное время уходит на подсчет. Без extra библиотека работает так же, только медленнее.

Модель spaCy

Для компонентов spaCy, синтаксических статистик и примеров, которые начинаются с spacy.load("ru_core_news_sm"), нужна русскоязычная модель; без нее spacy.load завершится ошибкой OSError: [E050]. Модель устанавливается отдельно:

python -m spacy download ru_core_news_sm

Большие модели ru_core_news_md и ru_core_news_lg для статистик ruTS смысла не имеют: по нашим замерам на золотой разметке Universal Dependencies (Taiga и GSD) они точнее sm меньше чем на пункт UAS, статистики по тексту у трёх моделей совпадают (корреляция выше 0.95 у 40 из 53), а размер - 93 и 670 МБ против 47.

Наборы данных

Наборы данных по умолчанию загружаются в директорию ruts_data рядом с пакетом (DEFAULT_DATA_DIR в ruts.constants): при установке из колеса это site-packages/ruts_data, куда для системного Python запись может быть запрещена. В таком случае передавайте свою директорию в аргументе data_dir при создании набора данных.

Примечание

С подробным руководством по работе с менеджером пакетов pip можно ознакомиться на сайте разработчика.

Установка с помощью git

Данный способ позволяет установить последнюю версию библиотеки непосредственно из репозитория проекта. Для этого необходимо выполнить следующие команды:

  1. Склонировать репозиторий в локальную директорию:

    git clone https://github.com/SergeyShk/ruTS.git

  2. Перейти в неё:

    cd ruTS

  3. Установить библиотеку в текущее окружение:

    pip install .

    Для разработки удобнее использовать uv, который создаст изолированное окружение и установит все зависимости, включая инструменты разработки:

    uv sync --all-groups --no-group examples

    Группа examples с Jupyter нужна только для ноутбуков с примерами.

Примечание

С подробным руководством по работе с системой управления версиями git можно ознакомиться на сайте разработчика.