#nlp #про_nlp
Мы выпускаем новый бенчмарк для русского языка - TAPE!

Классический Russian SuperGLUE получил 1500+ сабмитов за 2 года, однако, настало время расцветать и новым цветам🌸.

TAPE (Text Attack and Perturbation Evaluation) - это бенчмарк, который
🔹работает на few-shot и zero-shot
🔹имеет отдельную библиотеку, которая аугментирует тест, внося самые разные атаки и пертурбации
🔹работает с фиксированным сетапом выборок из теста, давая вам подробный отчет о влиянии разных факторов на перформанс модели
🔹содержит 6 новых сложных задач, включая этику и ризонинг
🔹 подходит даже для генеративных моделей.

TAPE является логичным развитием проекта Russian SuperGLUE, где на вопросно-ответных датасетах RuCoS, MuSeRC и DaNetQA решения участников уже достигли уровня человека. В то же время задачи, которые моделируют человеческую способность к построению логических суждений и цепочек для поиска ответа и многоаспектной оценке этических ситуаций являются одними из малоисследованных для русского языка. Мы стремимся восполнить эти пробелы и предлагаем новые датасеты, которые можно разделить следующим образом:

RuOpenBookQA и RuWorldTree: выбор правильного ответа на вопрос из нескольких вариантов (англ. multiple-choice question answering);
MultiQ: поиск правильного ответа на вопрос посредством агрегации фактологической информации из нескольких тематически связанных текстов (англ. multi-hop question answering);
CheGeKa: поиск открытого ответа на вопрос с опорой на логику и общие знания о мире (англ. open-domain question answering);
Ethics: многоаспектная оценка этических ситуаций, описанных в тексте (англ. ethical judgments);
Winograd: разрешение кореференции в текстах со сложными и неоднозначными синтаксическими связями (англ. coreference resolution или The Winograd Schema Challenge).

В бенчмарке тестовые данные
- аугментируются, разбиваются на сабпопуляции
- имеют фиксированный сет примеро в few-shot оценке
- формируют подробный отчет о том, какие факторы в каждой задаче повлияли на перформанс: длина текстов, количество шотов, данные из разметки датасетов (например, сложность заданий), а также все типы аугментаций. Аугментаций так много, что про них нужен отдельный пост!

🤗HuggingFace датасетов
🖥Github бенчмарка
🖥Библиотека RuTransform для аугментации данных
🖥Статья (Findings of EMNLP 2022)
🌸Сайт бенчмарка

#nlp #про_nlp #nlp_papers

Я решила немного чаще рассказывать вам про работы, которые мы делаем с коллегами вместе, да и вообще больше привлекать внимания к менее хайповым не-чатгпт научным проблемам, поэтому введу новую рубрику — #nlp_papers

Сегодня поговорим о том, как можно применять теорию общественного выбора к оценке LLM.

Vote'n'Rank: Revision of Benchmarking with Social Choice Theory

Теория общественного выбора (Social choice theory) — это теоретические и практические методы агрегирования или объединения индивидуальных предпочтений в функцию коллективного общественного благосостояния. Обычно в этой области предполагается, что у людей есть предпочтения, и из этого следует, что их можно смоделировать с помощью функций полезности.

🌸Проблема: современные языковые модели оцениваются на целом ворохе различных задач. В результате такой оценки на каждую модель приходится по 20-30 метрик, зачастую разной природы (точность, полнота, Bert score, MCC..) и диапазона (от 0 до 1, от -1 до 1, и т.д.). Как на основании таких результатов выстраивать лидерборд лучших моделей? Усреднять такое явно нельзя. Да и потом, является ли лучшее среднее всех результатов по всем задачам оптимальным направлением наших стремлений?

🌸Идея: Позаимствуем методы рассчетов из теории общественного выбора и перевзвесим результаты моделей на GLUE, SuperGLUE и VALUE (Video-and-Language Understanding Evaluation).
Будем использовать такие правила агрегации, как скоринговые правила (Plurality, Borda, Dowdall), итеративные скоринговые правила (пороговое правило, Baldwin), и мажоритарные правила (Condorcet rule, Copeland rule).

Агрегации Vote'n'Rank более надежны, чем среднее арифметическое всех метрик, и в то же время способны обрабатывать отсутствующие значения на разных задачах и указывать условия, при которых система становится победителем.
• Правило множественности (Plurality)— хороший выбор, если пользователю нужны только лучшие системы по каждой задаче.
• Если все позиции в рейтинге имеют значение, используйте правила Borda или Dowdall. Обратите внимание, что Даудалл присваивает более высокие веса верхним позициям.
• Пороговое правило полезно в тех случаях, когда пользователь хочет свести к минимуму количество задач с низким результатом: правило присваивает наивысший ранг системе, которая считается худшей по наименьшему числу задач.
• Если цель состоит в том, чтобы выбрать систему, которая превосходит все остальные в попарном сравнении, используйте правила Болдуина, Кондорсе, Коупленда или правила Минимакса.

Feel free использовать в своих пайплайнах оценки моделей!

🖥Paper: https://arxiv.org/abs/2210.05769v3
🖥Github: https://github.com/PragmaticsLab/vote_and_rank
🌸Accepted EACL 2023