Содержание
- Тон стоит считать по каждому объекту в тексте, а не по материалу в целом.
- На соревновании RuSentNE-2023 лучший результат на русских новостях составил около 67% по F-мере для позитива и негатива. Задача остаётся трудной.
- Точность своей системы можно проверить: разметить вручную случайные 100 публикаций и сравнить.
Почему тон считают по объекту
Возьмём вымышленную заметку: «„АкваЛюма“ отозвала две партии воды после жалоб покупателей, а „СеверАква“ нарастила долю на полках». Если оценить её целиком, получится что-то среднее и бесполезное. Если оценивать по объектам, картина ясная.
| Объект | Роль в тексте | Тон |
|---|---|---|
| АкваЛюма | Главный герой | Негативный |
| СеверАква | Упомянута во второй части | Позитивный |
Для пресс-службы «АкваЛюмы» это негатив, для пресс-службы «СеверАквы» — хорошая новость. Система, которая ставит одну оценку на материал, запишет заметку в негатив обеим или в нейтраль обеим и ошибётся в любом случае.
Что считается позитивом и негативом
Модель, как и человек, оценивает не отдельные слова, а смысл фразы. Слова «отзыв партии» негативны для производителя, но заметка «компания отозвала партию за сутки, не дожидаясь проверки» может быть для него скорее хорошей. Поэтому словари оценочных слов работают плохо, и современные системы используют языковые модели.
Отдельный вопрос, что считать нейтральным. Новость о смене директора без оценок обычно нейтральна, даже если для компании событие тяжёлое. Эту границу нужно договорить заранее, иначе два аналитика разметят одну выборку по-разному.
Какую точность показывают модели
Хороший ориентир для русского языка — соревнование RuSentNE-2023. Участники определяли отношение к именованному объекту в отдельном предложении из новостей. Классов было три: негативный, нейтральный, позитивный. Корпус основан на 400 новостных текстах, а разметка касалась персон, организаций, стран, профессий и национальностей.
Лучшая система на финальном этапе показала 66,67 по макроусреднённой F-мере для позитивного и негативного классов. Модель ChatGPT без дообучения получила 60,06. Метрика считается только по двум трудным классам, поэтому напрямую в процент правильных ответов её переводить нельзя.
Результаты получены на конкретном наборе данных 2023 года, и с тех пор вышли новые модели. Для практики вывод такой: высокую заявленную точность стоит проверять на своих данных.
Где модели ошибаются
- Цитаты. «Конкуренты называют продукт провальным» — чьё это мнение и о ком?
- Ирония и заголовки с игрой слов.
- Несколько объектов в одном предложении, особенно с местоимениями.
- Отраслевая лексика. «Резкое снижение показателя» бывает хорошей новостью, если речь о смертности или авариях.
- Омонимы. Если объект определён неверно, тон уже не важен.
Как проверить тональность в своей системе
- Выгрузите случайные 100 публикаций за месяц. Случайные, потому что самые заметные материалы всегда размечены лучше.
- Напишите короткую инструкцию: что для вашей компании негатив, что нейтраль, как оценивать цитаты.
- Попросите двух сотрудников разметить выборку независимо, не глядя в оценки системы.
- Посчитайте, в скольких случаях люди совпали друг с другом. Это потолок: от машины нельзя требовать больше.
- Сравните систему с теми оценками, где люди согласны.
- Посмотрите на ошибки отдельно: пропущенный негатив обходится дороже, чем ложная тревога.
Такая проверка занимает пару часов и заодно показывает, где запрос приносит шум.
Как читать тональность в отчёте
Абсолютная доля негатива мало что значит: при разных правилах разметки у двух систем она будет разной. Полезнее динамика в одной системе и сравнение с конкурентами по той же методике. Если негатив вырос, смотрите, откуда он пришёл: от одного сюжета или от многих. Вес публикаций учитывают сводные индексы, о них отдельная статья про медиаиндекс.
Языковая модель определяет главный и вторичные субъекты и оценивает тональность отдельно по каждому. Как это выглядит в карточке статьи, показано на странице возможностей.
