Лидерборды LLM

Здесь я публикую результаты тестирования локальных LLM на собственных тестах и сравниваю их с облачными. К каждому лидерборду прилагаю полный отчёт: методика, таблицы, протоколы серий, экономика.

Знания PHP-стека

Опубликован 14 октября 2026

Собеседование на роль PHP-бэкендера прошли 16 моделей: 8 локальных на RTX 5090, 5 облачных и 3 российские. Облачные SOTA — эталон для сравнения, среди них Opus 5.5, GPT-6.1 Sol, GPT-6 Luna и Haiku 5.5, плюс DeepSeek V4.1-Flash. GigaChat и YandexGPT — тоже для сравнения, чтобы понимать уровень отечественных моделей. Интервью — 35 открытых вопросов про PHP 8, Symfony, Doctrine, PostgreSQL, DDD и git. Без агентской обвязки и системного промпта, только знания из весов. Среди вопросов три провокации с ложной предпосылкой и два коротких код-ревью. Судья проверяет спорные утверждения запуском кода на PHP 8.5 и запросами к настоящему PostgreSQL в докере, отдельным замером идёт доля галлюцинаций.

Полный отчёт — методика, сводная таблица, протоколы всех серий, экономика
Статья с главными выводами
Вопросники и раннеры в репозитории

Умение писать код на PHP-стеке

Опубликован 30 октября 2026

Тестовое задание для PHP-бэкендера написал GLM-5.3-Flash по моим требованиям. Задача кандидата — написать консольное приложение учёта расходов на LLM-токены на PHP 8 и Symfony. Приложение импортирует тарифы и логи использования, считает стоимость по правилам провайдеров и формирует отчёты. Бонусом идёт команда пересчёта. Мы протестировали 16 моделей: облачные SOTA, российские модели и локальные сборки на ollama. Каждая модель решала задание через pi.dev. Промпт и набор инструментов у всех были одинаковыми. Всего получилось 89 прогонов, по три на каждый уровень размышлений, от выключенного мышления до максимума. Чекер проверяет решение запуском на 13 обязательных сценариях, статанализ меряет размер классов и их связность, ревью и слепой судья разбирают код, отдельный аудит смотрит безопасность.

Лидером среди облачных стал DeepSeek V4.1 Flash. Он получил полный зачёт на уровнях low и max, а на max его код оказался самым чистым среди выполнивших задание. Лучшими из локальных стали три сборки qwen3.8: базовая заняла 6-е место таблицы, huihui 7-е, orca 8-е. Huihui и orca собраны из тех же весов qwen3.8 со снятыми фильтрами безопасности. У qwen3.8 качество падает с ростом уровня размышлений. Лучший результат модель показывает на low.

Полный отчёт — методика, сводная таблица, карта качество-цена и отчёт по каждому из 89 прогонов
Примеры отчётов одного прогона для сравнения: DeepSeek V4.1 Flash на max с полным зачётом, Opus 5.5 на max и локальная qwen3.8 на low, тоже с полным зачётом.
Код, методика и отчёты задания в репозитории

Эмбеддинги

Готовится

Сравнение эмбеддинг-моделей на своей задаче. Формат ещё прорабатываю, лидерборд появится после первого прогона.

Decision-модели

Готовится

Decision-модели — компактные оценщики качества ответов. В собеседовании на PHP-стек роль дешёвого оценщика первого яруса выполняла clef. Лидерборд появится после первого прогона.