01
Начните с Configuration Lock
До headline metric проверьте, что измерялось: канал, система, точная API-модель или visitor surface, web-search status, язык, регион, prompt families, language scenarios, repeats и дата. Эти поля определяют результат.
Если в следующем цикле входные параметры изменились, это новая baseline version. Before/after имеет смысл только при сохранении релевантной методики и раскрытии изменённых переменных.
02
Проверяйте знаменатель, а не только процент
Mention rate 40% означает разное при 2 из 5 и при 80 из 200 ответов. Смотрите planned answers, valid answers, technical invalids, retries и отсутствующие строки. Одна неожиданная лишняя строка должна остановить цикл, а не раствориться в среднем.
Retry относится только к одному конкретному technical invalid. Повтор всего prompt family или системы создаёт скрытый fan-out и может исказить выборку.
03
Проводите каждое утверждение к evidence
Для AI-answer finding откройте prompt, raw answer snapshot, систему, модель или поверхность, timestamp, citation URLs и validation state. Для website-readiness finding — page URL, text или HTML fragment, selector, rule ID и rule version.
Citation URL доказывает, что ответ сослался на этот URL в сохранённом запуске. Это не доказывает автоматически корректность каждой фразы или поддержку конкретного утверждения источником — для этого нужен semantic citation review.
04
Разделяйте наблюдение, интерпретацию и действие
Observation описывает сохранённое evidence. Interpretation объясняет возможное значение. Recommendation предлагает изменение. Сильный отчёт показывает эти слои отдельно и не выдаёт предполагаемую причину за измеренный факт.
Автоматические рекомендации должны быть так и обозначены. Статус Expert Verified требует реального QC record: semantic mentions, citations, factual errors и утверждённые priority actions.
05
Используйте отчёт как контролируемый loop
Выберите самое приоритетное evidence-backed исправление, посмотрите preview, внедрите его через owner-controlled процесс и перепроверьте точную страницу. Readiness before/after хранится отдельно от AI visibility before/after.
Для real re-measurement сохраните тот же Configuration Lock. Покажите наблюдаемый delta со знаменателем и датой, а monitoring продолжайте только пока baseline остаётся сопоставимым.