Примеры

Ноутбуки Jupyter в директории examples/ репозитория. Каждый открывается в Google Colab кнопкой и ставит библиотеку с моделью spaCy сам; выводы всех ячеек сохранены в файлах, поэтому ноутбуки можно читать и без запуска.

Сквозной разбор текста

01_text_walkthrough.ipynb - рассказ Чехова «Смерть чиновника» через все инструменты библиотеки по порядку: извлечение предложений и слов, базовые статистики, удобочитаемость с пресетами коэффициентов, лексическое разнообразие и оконный расчет, морфология, SEO-метрики стиля на художественном тексте и канцелярите, фоностатистика, синтаксис и связность по разбору spaCy, лексическая сложность по частотному словарю, подсветка, закон Ципфа и кривая длин предложений. В конце все статистики подключаются компонентами spaCy, и один проход nlp.pipe по набору TextsByGrade дает таблицу статистик по классам текста.

Сложность текста по ступеням обучения

02_text_complexity_by_grade.ipynb - 68 текстов TextsByGrade с меткой класса от 1 до 17 как одна ось сложности, на которую по очереди накладываются все группы статистик: корреляция Спирмена одиннадцати формул удобочитаемости с меткой и их ошибка в классах, три пресета коэффициентов, лексическое разнообразие (с классом не связано) против лексической сложности по частотному словарю, синтаксис и морфология (именная нагрузка, глубина дерева, пассив, доля глаголов), связность, распределения по ступеням обучения и проверка на независимой хрестоматии для первого класса SovChLit.

Попарное сравнение прозаиков

03_prose_authors.ipynb - десять прозаиков RussianLiterature по 200 окон в 1000 слов, 130 признаков text_features и дельта Клиффа для 45 пар: три сильнейших признака каждой пары, подробный разбор Толстого и Достоевского (compare_features, распределения признаков, ключевые слова - речь против повествования), число признаков с большим эффектом как расстояние (от 6 у Гоголя-Тургенева до 67 у Герцена-Достоевского), признаки оформления издания (кавычки, ё), которые надо исключать, универсальные различители (точка с запятой, многоточие, длина слова, оконные меры разнообразия), дендрограмма и многомерное шкалирование по признакам и по дельте Барроуза с тестом Мантеля, атрибуция авторства окон в 1000 слов с отложенными произведениями (варианты дельты, число частых слов, словоформы против символьных триграмм, признаки текста как классификатор, матрица ошибок, маркеры Zeta).

Язык Сталина за полвека

04_stalin_corpus.ipynb - корпусные меры как инструменты диахронии на StalinWorks (1243 текста 1901-1952 годов, четыре периода): ключевые слова относительно частотного словаря и артефакты лемматизации при сравнении с внешним словарём, ключевые слова периодов и keyness_plot двух крайних периодов, сочетаемость слов «враг» и «партия» по периодам через collocations с node, дисперсия слов по томам и dispersion_plot как лента времени, конкорданс kwic по леммам, закон Ципфа и MTLD по окнам для каждого периода.

Стих и звук

05_poetry.ipynb - стиховедческие статистики и фоностатистики на PoetryCorpus (16 694 стихотворения, XVIII-XX века): онегинская строфа через VerseStats (ударения, схемы cC, ABABCCDDEFFEGG, окончания, профиль ударности), метры по эпохам и число стоп в ямбе (александрийский стих XVIII века, пик ямба при Пушкине, трёхсложники с 1840-х, дольники и акцентный стих XX века как метр None), профиль ударности четырёхстопного ямба у Ломоносова, Пушкина и Блока против ручных подсчётов Тарановского, метры по авторам, схемы рифмовки четверостиший и окончания строк по эпохам, белый стих и верлибр, ударные гласные и хрестоматийная звукопись, индексы аллитерации и «жёсткость» по авторам, подсветка аллитерации, проверка ударений и рифм на наборе RIFMA.

Запуск локально

uv sync --group examples
uv run jupyter lab examples/

Команда make notebooks выполняет все ноутбуки, записывает выводы в файлы и убирает метаданные выполнения; workflow examples.yml прогоняет ноутбуки по расписанию и вручную.