← Все статьи
ИИ-ревьюТестированиеКачество кода

Как мы проверяем ИИ-ревью и находим ошибки в собственных тестах

Как мы оцениваем ИИ-ревью: проверяем контекст, повторяем прогоны и разбираем замечания, которые не попали в список ожидаемых ошибок.

Команда Code Inspect8 мин чтения
Лупа обнаруживает ошибку в списке проверок рядом с файлом кода
В этой статье

При проверке одной из версий Code Inspect мы разобрали 14 групп замечаний, которые не совпадали со списком ожидаемых ошибок. Замечания повторялись в нескольких прогонах, поэтому хотелось понять, почему ревьюер так упорно придирается к одним и тем же местам.

В десяти группах он оказался прав. Мы сами внесли эти ошибки, когда готовили тестовые сценарии, и не записали их в ожидания.

После исправления разметки результат той же серии вырос с 42 найденных дефектов из 44 до 52 из 54. Число кандидатов в ложные срабатывания сократилось с 19 до 9. Новых запросов к модели для этого не понадобилось: изменился наш подсчёт.

Этот случай хорошо объясняет, на что уходит время при проверке ИИ-ревью. Нужно разобраться и в замечаниях модели, и в собственном способе их оценивать.

Эти случаи - из наших замеров в октябре 2026 года.

Откуда взялись десять незапланированных ошибок

Для проверки ревьюера мы берём копии открытых проектов и намеренно добавляем в них дефекты. У каждого есть описание: где находится ошибка, при каких условиях проявится и что должно быть сказано в замечании.

Допустим, в коде перепутаны два аргумента одного типа. Компилятор это пропустит. От ревьюера ждём объяснения, что аргументы переданы не в том порядке и к чему это приведёт. Совета переименовать переменные для зачёта недостаточно.

С таким списком удобно считать пропуски. Но что делать с замечанием, которого в списке нет?

Сначала мы относили такие находки к кандидатам в ложные срабатывания. Затем выбрали для разбора 14 групп, повторявшихся как минимум в трёх из шести прогонов. В десяти обнаружились настоящие проблемы, случайно появившиеся при подготовке стенда. Оставшиеся четыре в список дефектов не добавили.

Важно, что это была выборка повторяющихся замечаний. Из неё нельзя заключить, что десять из каждых четырнадцати «лишних» находок у любого ревьюера окажутся полезными. Но её хватило, чтобы перестать считать наш список ошибок полным.

Теперь находки сверх ожиданий разбираем отдельно. Если замечание подтверждается кодом, дополняем разметку и пересчитываем результаты сохранённых прогонов. Иначе новая версия могла бы получить худшую оценку именно за то, что обнаружила больше ошибок.

Совпала строка, а проблема оказалась другой

Даже известный дефект не так просто сопоставить с ответом модели.

Первый вариант проверки был очевидным: замечание должно относиться к нужному файлу и попадать в диапазон строк с ошибкой. На практике он ошибался в обе стороны. Модель могла описать нужный дефект, но прикрепить комментарий строкой выше. А могла указать на другую проблему в том же месте и получить незаслуженный зачёт.

При сравнении трёх режимов ревью мы нашли 30 таких расхождений в парах «дефект и режим». После этого считать попадания только по координатам стало трудно.

Добавили ключевые слова для каждого дефекта. Это помогло, но принесло свои сюрпризы. В одной из PHP-проверок условие с фрагментом "нет " сработало на слове «вернет». Автоматика увидела нужную последовательность букв, хотя замечание было о другом.

Бывает и обратное: ревьюер верно объясняет ошибку словами, которых нет в списке ключей.

Поэтому при спорном попадании приходится читать замечание и сопоставлять его с кодом. Мы смотрим, описана ли нужная причина и правильно ли указаны последствия. Совпадение файла, строки и нескольких слов помогает найти кандидата для проверки, но само по себе ещё ничего не доказывает.

Сначала проверяем, какой код получила модель

Модельные прогоны обходятся достаточно дорого, чтобы не запускать их после каждой правки сборщика контекста. Одно наше сравнение режимов потребовало 165 прогонов и около 6,9 млн токенов, включая вход и выход модели.

При этом часть неудачных вариантов можно отсеять заранее. Если для проверки изменения нужна реализация соседней функции, а сборщик её не передал, это видно без обращения к модели.

Для таких проверок используем историю открытых проектов. Находим исправление бага, смотрим изменённые строки и через git blame пытаемся восстановить коммит, в котором они появились. Этот подход основан на SZZ. Затем из исправления строим предполагаемый список кода, который стоило бы показать ревьюеру при проверке исходного изменения.

Здесь тоже можно ошибиться. Последний коммит, тронувший строку, мог всего лишь поменять её оформление. А исправление могло затронуть код, который не требовался для обнаружения исходной ошибки.

Мы проверили размеченный поднабор из 32 случаев. В двенадцати автоматический поиск указал не тот коммит, который внёс баг. Ещё в одиннадцати проблема была настоящей, но всё необходимое для её обнаружения уже находилось в диффе. Только девять случаев действительно требовали кода из других файлов.

Эти числа описывают нашу небольшую выборку. Распространять долю ошибок на SZZ вообще было бы неверно. Для нашей проверки вывод получился вполне практический: автоматически собранный эталон нужно перепроверять.

Есть и более мелкий источник шума. В исправлении встречается имя вроде Count или Add. Такое же имя находится в другом месте репозитория, и автоматика ошибочно решает, что этот код нужен для ревью.

Поэтому большой автоматический корпус используем, чтобы сравнивать варианты сборщика на одинаковых входах. Если после правки нужные символы стали попадать в запрос чаще, это повод подробнее изучить изменение. Затем проверяем результат на размеченных случаях и запускаем модель. Само по себе улучшение показателя сборки ещё не означает, что ревьюер найдёт больше багов.

Один удачный прогон легко принять за улучшение

В октябрьском сравнении у нас было 17 сценариев и 79 намеренно внесённых дефектов. Отдельный сценарий проверял чистый перенос файла: там правильным результатом было отсутствие замечаний.

Варианты запускали повторно. На большинстве сценариев делали по три прогона, на двух особенно тяжёлых - по два. Даже с прежней моделью, настройками и кодом ответы расходились.

Например, в одной серии ревьюер нашёл семь дефектов, в следующих двух - пять и пять. Если бы мы сравнили только первый результат с единственным прогоном другой версии, легко получили бы красивый прирост или заметную регрессию. Два оставшихся запуска меняют впечатление.

Для обычных сравнений мы стали смотреть на медиану серии. В примере выше это пять. Рядом сохраняем результаты отдельных прогонов, чтобы видеть разброс. Если решение зависит от одного сценария, добавляем повторы именно для него.

Это рабочий способ принимать решения при ограниченном бюджете, а не обещание статистической достоверности после трёх запросов. Небольшое отличие между версиями так и остаётся небольшим отличием, особенно если результаты отдельных запусков гуляют сильнее.

По той же причине не стоит сравнивать одну версию по удачному одиночному запуску, а другую по средней серии. Условия должны совпадать: сценарии, ожидаемые дефекты, число повторов и настройки.

Проверка на коде без известных ошибок

Стенд с посаженными дефектами отвечает на вопрос, что ревьюер умеет находить. Но разработчика волнует и другое: сколько времени придётся потратить на неверные предупреждения.

Для этой части берём коммиты, которые по истории проекта выглядят исправными. В наших октябрьских наборах это были изменения старше шести месяцев, у которых сохранилось не менее 90 % добавленных строк и для которых SZZ не нашёл последующего исправления.

Такой отбор даёт набор для проверки, но не удостоверяет код в отсутствии багов. Возраст коммита и сохранившиеся строки не означают, что кто-то проверил все его ветки выполнения.

На этих изменениях смотрим, сколько замечаний возникает, насколько они серьёзные и подтверждаются ли кодом. Особенно внимательно разбираем заявления о том, что рабочий код не скомпилируется.

На Rust без дополнительного контекста модель дважды выдала такие замечания с уровнем critical. Они опирались на неверные предположения о коде, которого модель не видела. В проверенных прогонах с контекстом этих ложных предупреждений о коде репозитория не было.

Считать все остальные находки на «чистых» коммитах ложными всё равно нельзя. Замечание может указывать на старую ошибку, до которой никто не добрался. Его приходится проверять по существу, как и неожиданную находку на тестовом стенде.

Что мы смотрим перед выпуском

В итоге у нас получилось три проверки с разными задачами:

  • На истории проектов проверяем, добирается ли сборщик до нужного кода.
  • На стендах с известными дефектами смотрим, находит ли их ревьюер.
  • На предположительно исправных изменениях разбираем лишние предупреждения.

Когда результат новой версии заметно меняется, возвращаемся к конкретным случаям. Какая ошибка перестала находиться? Был ли необходимый код в запросе? Замечание действительно ложное или его просто нет в ожиданиях? Выполнился ли сам прогон?

Последний вопрос тоже приходится задавать. Сбой запуска должен оставаться сбоем, а не превращаться в ноль найденных дефектов и портить оценку качества модели.

Часть работы здесь довольно однообразная: открыть файл, перечитать замечание, поправить ожидания, пересчитать старый отчёт. Но именно так у нас однажды исчезли десять «ложных» срабатываний. С тех пор при неожиданном результате мы проверяем и ревьюера, и собственный тест.