llm-рейтинг
Рейтинги / Блог / Как самому сравнить нейросети: методика теста

Как самому сравнить нейросети: методика теста

Чтобы честно сравнить нейросети, нужно дать им одинаковый набор ваших реальных задач, оценивать ответы по заранее записанным критериям, по возможности не зная, какая модель что ответила, и повторить тест хотя бы дважды. Общие рейтинги и чужие обзоры полезны для короткого списка кандидатов, но выбирать стоит по своему тесту: модель, которая лучше всех пишет код, может проиграть на ваших письмах клиентам.

Ниже — методика, которую можно провести за один-два дня без программирования.

Шаг 1. Решите, что именно вы выбираете

Сформулируйте одним предложением, зачем нужна нейросеть. Например:

От этого зависят задачи и критерии. Сравнивать модели «в целом» бессмысленно: результат будет зависеть от того, какие вопросы пришли в голову в момент теста.

Шаг 2. Соберите набор задач

Возьмите 15–30 задач из реальной работы, а не придуманных головоломок. Хороший набор содержит:

Тип задачиДоля в набореПример
Типовые, частыепримерно половинаответ на стандартный вопрос клиента
Сложные, но реальныеоколо третиразбор претензии с нестандартными условиями
С известным правильным ответомнесколько штуквопрос о вашем продукте, ответ на который вы знаете точно
Провокационныеодна-двевопрос, на который правильный ответ — «не знаю» или «уточните»

Задачи с известным ответом — самые ценные: по ним видно, придумывает ли модель факты. Провокационные показывают, умеет ли она признать неуверенность.

Запишите каждую задачу дословно — одна формулировка для всех моделей.

Шаг 3. Запишите критерии до теста

Если придумывать критерии после чтения ответов, они подстроятся под понравившуюся модель. Выберите 3–5 критериев и шкалу, например от 0 до 2:

Критерии можно взвесить: для поддержки точность важнее стиля, для блога — наоборот.

Шаг 4. Проведите тест в равных условиях

Правила, которые убирают большую часть перекосов:

  1. Новый диалог для каждой задачи. Иначе модель учитывает предыдущие вопросы.
  2. Одинаковые настройки. Если у одной модели включён поиск, включите его у всех, где это возможно, или проведите отдельный раунд без поиска.
  3. Без подсказок по ходу. Первый ответ оценивается как есть. Если хотите проверить, как модель исправляется, сделайте это отдельным этапом.
  4. Запись даты и версии. Сервисы меняются, и через месяц результат может быть другим.

Шаг 5. Оценивайте вслепую

Скопируйте ответы в таблицу, уберите названия моделей и перемешайте порядок. Попросите коллегу пронумеровать варианты и не говорить, где чей. Оценка вслепую убирает эффект бренда: известной модели невольно ставят балл выше.

Шаблон таблицы:

№ задачиВариантТочностьПолнотаБез правкиИсточникиСуммаКомментарий
1А
1Б
1В

После оценки раскройте, какой вариант какой модели принадлежит, и посчитайте суммы.

Шаг 6. Повторите и посмотрите на разброс

Языковые модели отвечают по-разному на один и тот же вопрос. Повторите хотя бы часть задач — например, пять самых важных — ещё раз через несколько дней. Если модель то отвечает отлично, то ошибается, это нужно знать до внедрения. Стабильность часто важнее среднего балла.

Шаг 7. Учтите практические условия

Качество ответов — не единственный критерий. Перед решением проверьте:

Ориентиры по отдельным сервисам — в наших обзорах Алисы и YandexGPT и GigaChat, а сводная таблица по поисковым задачам — в сравнении ИИ-поисковиков.

Типичные ошибки

Тот же подход — фиксированный набор вопросов, записанные критерии, дата среза — мы используем для оценки подрядчиков; подробности на странице методики, а сам рейтинг — на главной.

Частые вопросы

Сколько задач нужно для честного сравнения?

Для первого вывода хватит 15–30 реальных задач. Если различия между моделями небольшие или решение дорогое — например, внедрение в процессы компании, — набор стоит расширить и привлечь несколько оценщиков.

Можно ли попросить одну нейросеть оценить ответы других?

Можно как вспомогательный инструмент, особенно на большом наборе задач. Но модель-оценщик тоже ошибается и может предпочитать ответы в своём стиле. Финальную оценку на важных задачах лучше делать человеку.

Стоит ли доверять публичным рейтингам моделей?

Они полезны, чтобы составить короткий список кандидатов. Но публичные тесты измеряют общие способности на стандартных задачах, и модели иногда специально к ним готовят. На ваших задачах порядок может оказаться другим.

Как часто повторять сравнение?

Разумно раз в несколько месяцев или при заметном обновлении сервиса, которым вы пользуетесь. Сохранённый набор задач и таблица оценок превращают повторный тест в работу на пару часов.