Почему не будет рейтинга
Новые модели выходят постоянно. Сегодняшний лидер через несколько месяцев уступает другой, а потом его часто догоняет открытая модель, которая стоит в разы дешевле. Мы следим за этим постоянно, в том числе по разделам Reddit вроде r/LocalLLaMA, потому что до русскоязычных обзоров новости обычно доходят уже устаревшими.
Поэтому вопрос «какая нейросеть лучше» без продолжения не имеет ответа. Правильный вопрос звучит иначе.
Какая модель лучше для этой задачи, с этими данными и за эти деньги?
Дороже тоже не значит лучше. Когда появилась первая подписка за 200 долларов в месяц, основатель Designflex написал, что ответы не сильно лучше обычных. И мы видели, как более дорогая модель на конкретной задаче проигрывает более простой.
На что смотреть
- Какие данные?Можно ли их вообще передавать
- Какая задача?Текст, документы, код, картинки, голос
- Какое качество?На ваших примерах, а не в обзоре
- Сколько стоит?На весь объём, а не за один запрос
- Что, если отключат?Есть ли замена
Порядок важен. Начинать нужно с данных, потому что они часто сразу закрывают половину вариантов.
- Если есть персональные данные или коммерческая тайна, публичный зарубежный чат не подходит. Подробно в статье про нейросети и персональные данные.
- Если вы госзаказчик или подрядчик, смотрите на закон об ИИ 243-ФЗ: в определённых случаях можно будет применять только суверенные и национальные модели.
Что важно для разных задач
| Задача | Что важнее всего | На что обратить внимание |
|---|---|---|
| Письма, тексты, идеи | Удобство и язык | Хорошо ли модель пишет по-русски без канцелярита |
| Ответы по документам компании | Качество поиска и показ источника | Важнее самой модели то, как устроена система вокруг неё. Подробно в статье что такое RAG |
| Распознавание документов | Точность на ваших сканах | Проверяйте на плохих сканах и фото |
| Программирование | Работа с большим кодом | Инструменты меняются быстрее всего |
| Картинки | Стиль и точность | Одна модель лучше рисует реалистичное, другая точнее следует наброску |
| Массовая обработка | Цена за объём | Простая дешёвая модель часто справляется не хуже |
Часто правильный ответ — не одна модель, а несколько. Простые операции делает дешёвая, а сложные дорогая. Так у нас устроены собственные продукты.
Как сравнить на своих задачах
Вам не нужен большой проект. Хватит пары дней.
- Собрать примеры20–30 настоящих задач, с трудными случаями
- Записать верный ответИли признаки хорошего результата
- Прогнать 3–4 моделиС одинаковой постановкой задачи
- Оценивать вслепуюЭксперт не знает, где какая модель
- Посчитать ценуНа ваш месячный объём
Два совета из практики. Включайте в примеры случаи, где нужно честно ответить «не знаю», потому что на них хорошо видно склонность к галлюцинациям. И повторите каждый запрос несколько раз: одна и та же модель может отвечать по-разному, а один удачный ответ ничего не доказывает.
Почему нельзя зависеть от одной модели
Модель может подорожать, ухудшиться после обновления, или её могут отключить. Мы сами через это прошли, об этом в статье про AI-first компанию. Блокировки случаются без объяснений, а поддержка часто просто не отвечает.
Вот что мы советуем:
- Закладывайте возможность замены в систему с самого начала. У нас запросы можно переключать между поставщиками и моделями.
- Храните свои контрольные примеры. С ними переход на новую модель превращается в проверку за день, а не в угадывание.
- Держите настройки и данные у себя, а не только в чужом сервисе.
- Не стройте бизнес вокруг особенности одной модели. Через год она может исчезнуть.
Как выбрать для компании
- Начните с одной задачи, а не со всей компании.
- Выясните у службы безопасности, что можно передавать и куда.
- Сравните варианты на своих примерах.
- Запустите на небольшой группе и посмотрите, чем люди реально пользуются.
- Назначьте человека, который раз в несколько месяцев проверяет, не появилось ли что-то лучше.
Если работа идёт по документам компании или нужно подключиться к её системам, вопрос выбора модели быстро становится вопросом архитектуры. С этого мы и начинаем аудит.
