Проверка кода, написанного ИИ: как два агента ошиблись

Проверка кода, написанного ИИ, — то место, от которого зависит, стоит ли чего-нибудь весь остальной процесс. Ниже запись одного опыта с двумя независимыми проверяющими, включая ту часть, что не сработала: два агента подряд выдали уверенные, правдоподобные и неверные объяснения одной и той же проблемы — до того, как кто-то открыл файл, который закрыл вопрос.

Записи опытов публикуются здесь только тогда, когда установку, входные данные и наблюдаемый результат можно воспроизвести. Этот — можно. Это одно наблюдение, а не исследование: n = 1.

Гипотеза была такая: если два независимых агента читают один и тот же источник, а не пересказы друг друга, качество проверки растёт, а владелец перестаёт быть шиной между чатами.

Claude Code поднимается из файла workflow через опубликованный GitHub Action и срабатывает от @claude в комментарии к pull request или задаче. То есть вызывается вручную, но дальше читает сам PR, diff и результаты CI, а не присланный пересказ.

Репозиторий — форк. Вместе с ним достались чужие workflow, включая проверку Contributor License Agreement.

Весь опыт шёл на четырёх артефактах — все они на месте, и каждый можно открыть заново.

Первый агент сообщил: красная отметка косметическая, у агентских коммитов она падает всегда, можно мержить мимо. Правдоподобно — предыдущий pull request действительно был влит с той же красной отметкой.

На перепроверку второй агент посмотрел историю коммитов, увидел, что коммиты владельца и коммиты агентов идут с разных адресов, и заключил: проверка сверяет автора коммита с подписантом соглашения, лечится одной строкой конфигурации git. Тоже правдоподобно. Тоже неверно.

Ни один из них не открыл файл workflow. Оба рассуждали о том, что проверка с таким названием, вероятно, делает.

Проверка не читает авторов коммитов вообще. Она берёт GitHub-логин автора pull request и ищет его в файле подписантов.

Этот файл — реестр подписей проекта, от которого форкнут репозиторий. В нём десять логинов участников того проекта. Логина текущего владельца там нет, а вписать его означало бы подписать юридическое соглашение чужой компании.

Значит, проверка останется красной навсегда. Она чинится не подписью, а правкой унаследованного workflow — в шапке которого написано, что владелец репозитория и коллабораторы освобождены от проверки, тогда как скрипт освобождает только ботов.

Гипотеза подтвердилась в узком смысле и провалилась в широком.

Подтвердилась в том, что верный ответ дало чтение источника. Провалилась как утверждение об агентах: второй агент верного ответа не дал. Два агента выдали два уверенных неверных ответа, а верный появился, когда открыли файл.

Практическое правило отсюда не «используйте двух агентов». Оно такое: объяснение — не доказательство, каким бы гладким оно ни было, и оба проверяющих должны смотреть в один и тот же артефакт — тот же коммит, тот же файл, — иначе их согласие ничего не значит.

Это один случай, и читать его нужно как один случай.

Два вопроса, которые этот опыт поднимает и не закрывает.

Это воспроизводится на любом репозитории, форкнутом от проекта с собственной проверкой CLA.