Все исследования

/ru/research · что мы измерили

Агенты спорили и голосовали, а одна модель оказывалась точнее. Почему мы перешли на обмен состояниями

Голосование трёх экспертов 0,848 против 0,893 у одной модели, спор двух моделей хуже одного судьи на 7,7 п.п. [−13,0; −2,3], идеальный обмен добавил бы не больше 2 п.п. Разбираем, почему обмен мнениями не работает, и описываем метод, где агенты передают друг другу не вердикт, а состояние: что знают, что сделали, в чём не уверены. Сам метод пока не измерен, об этом отдельно.

Авторы: slavb18
  • AI
  • LLM
  • Agents
  • Multi-Agent
  • Research
  • HRTech

Три эксперта голосуют за вердикт и получают 0,848. Одна модель, обученная на тех же данных, получает 0,893. Два сильных агента спорят перед судьёй, и судья ошибается чаще, чем без спора.

Полгода мы собирали из агентов совет, который принимает решение лучше одиночки. Совет так и не выиграл ни разу. Ниже три опыта, которые это показали, и метод, к которому мы после них пришли.

Задача и стенд

Решение одно: по стенограмме технического собеседования сказать, сеньор кандидат или нет. Стенограммы синтетические, с известной правдой. Сначала генератор задаёт скрытый профиль кандидата (уровень, где он блефует, какие навыки знает), потом под этот профиль пишется диалог. Правильный ответ известен по построению, поэтому точность считается без разметчиков.

В отложенной выборке 112 интервью, ещё 149 на навыках, которых модели в обучении не видели (ClickHouse, Linux). Всего 261 запись. Доверительные интервалы везде бутстрепом по записям, гипотезы зарегистрированы до прогона.

Опыт 1. Совет экспертов против одной модели

Взяли Qwen2.5-3B в 4 битах и обучили к ней три LoRA-адаптера, каждый на своей трети обучающей выборки. Четвёртый адаптер, full, учился на всей выборке.

точность, отложенная точность, новые навыки
базовая модель без адаптера 0,402 0,571
лучший из трёх экспертов 0,857 0,866
голосование трёх экспертов 0,848 0,832
одна модель на всех данных 0,893 0,899

Голосование уступает даже лучшему из своих участников. Потом мы дали экспертам пересмотреть вердикт, показав мнение коллеги текстом или через скрытые состояния. Чистый эффект ревизии (исправлено минус испорчено) во всех вариантах около нуля: от −0,019 до +0,006, и все интервалы включают ноль.

Зато сработала обратная проверка. Когда «коллега» нарочно говорил противоположное правде, эксперты сдавались в 36,7% случаев. Модель, которая была права, видела в промпте чужое неверное мнение и меняла ответ. Подробно этот опыт и попытку найти «удержанное мнение» внутри модели мы разобрали в статье «Эксперт сдался, а проба говорит, что он остался при своём».

Выходит, по каналу мнений легко проходит чужая ошибка, а исправлений в нём почти нет.

Опыт 2. Сколько вообще можно выиграть

Может, обмен был плохо устроен? Мы посчитали потолок: оракул, который в каждом интервью знает, какой эксперт прав, и берёт его ответ.

Над одной моделью такой оракул добавляет +0,9 п.п. [−2,7; 4,5] на отложенной выборке и +2,0 п.п. [−1,3; 6,0] на новых навыках. Лучше такого обмена не бывает, и даже его прирост неотличим от нуля.

Причина в корреляции ошибок. Эксперты расходятся только в 6% пар. Коэффициент Юла между их ошибками 0,95–0,98: если ошибся один, почти наверняка ошиблись все. Три адаптера на одной базе и одних метках ошибаются как одна модель, и исправлять друг друга им нечем.

Отсюда первое правило, которое потом легло в метод: обмен имеет смысл, только если у участников разное содержимое. Три копии одного знания, сколько их ни своди, дают то же знание.

Опыт 3. Спор разных моделей

Значит, нужны разные модели. Мы поставили классическую схему спора: две модели защищают назначенные стороны, судья читает их доводы и выносит решение. Стороны играли deepseek-v4.1-flash и gpt-oss-120b, судьёй была Qwen 27B. Каждая запись шла дважды, со сменой сторон, чтобы выигрывала позиция, а не модель. Цитаты из стенограммы, на которые ссылаются спорщики, сверял код, и судья видел пометку, подтверждена цитата или нет.

вариант точность (n = 261)
голосование трёх моделей 0,843
кворум: каждый видит доводы двух других и пересматривает 0,835
судья один со стенограммой 0,820
судья со стенограммой и спором 0,743
судья только со спором, без стенограммы 0,640
судья с одним советником 0,498

Спор хуже одного судьи на −7,7 п.п. [−13,0; −2,3]. Он исправил 6,3% вердиктов и испортил 14,0%. На блефующих кандидатах ложный «сеньор» у спора 37,5%, у одного судьи 28,1%: убедительный защитник вытягивает того, кого стоило отсеять.

Самое неприятное нашлось в проверке цитат. Сторона, защищавшая неверный вывод, приводила подтверждённые цитаты так же часто, как сторона с верным. Цитата настоящая, вывод из неё ложный. Сверка цитат с источником это не ловит.

Спор всё же лучше одного советника, +14,2 п.п. [+7,5; +20,9]. Но это сравнение с позицией, где половина советов намеренно неверна. Кворум над лучшей одиночной моделью дал +1,5 п.п. [−2,3; +5,8], это не доказано.

Что объединяет три провала

Во всех трёх опытах агенты передавали друг другу вывод: вердикт, голос, довод в пользу стороны. Вывод сжимает всё рассуждение в одно слово, и передаётся он как убеждение. Получатель не может его проверить, может только принять или отвергнуть. Принимает он его по силе убеждения, и потому сдаётся под давлением в трети случаев.

При этом то, что действительно нужно для решения, по каналу не шло:

  • какие факты агент видел и откуда они;
  • что он уже проверил и чем;
  • где у него не хватает данных.

Человеческие консилиумы устроены так же, когда работают. Врач на разборе не говорит «я голосую за операцию». Он говорит, какие анализы смотрел, что исключил и какого обследования не хватает, и решение собирают из этих отчётов.

Метод: обмен состояниями

Агенты работают в общей комнате, но вердиктами не обмениваются. Каждый публикует своё состояние, запись из трёх частей.

Что знаю. Факты с указанием источника: реплика в стенограмме, документ, ответ внешней системы. Без оценок. «Кандидат назвал MergeTree и ReplacingMergeTree, реплики 14 и 17» сюда подходит. «Хорошо знает ClickHouse» уже вывод, его в состояние не пишут.

Что сделал. Какие действия агент уже выполнил: какой вопрос задал, что проверил, какой инструмент вызвал и что получил. Это нужно, чтобы двое не делали одно и то же и чтобы было видно, на чём держится каждый факт.

В чём не уверен. Чего не хватает до решения: какой факт противоречит другому, какой вопрос остался без ответа, где данные кончились. Это самая ценная часть, и её агенты в споре прячут: признать неуверенность значит проиграть раунд.

Тот, кто собирает решение, читает состояния. Факты разных агентов складываются в одну картину, противоречия между ними становятся явными и разбираются по источнику, а не по тому, кто убедительнее. Если в сумме состояний остаётся непокрытое «не уверен», это видно до решения, а не после ошибки.

Чем это отличается от спора и голосования

голосование спор обмен состояниями
что передаётся вердикт довод за назначенную сторону факты, действия, пробелы
можно проверить по источнику нет цитату, но не вывод каждый факт
давление на получателя большинство сила риторики нет вердикта, на который давить
неуверенность теряется в голосе скрывается передаётся явно
выигрыш от копий одной модели нет (опыт 2) нет нет: нужно разное содержимое

Обмен состояниями не лечит корреляцию ошибок. Если у трёх агентов одни данные и одна база, их состояния совпадут, и метод даст то же, что одна модель. Выигрыш возможен там, где у участников разное: один читал стенограмму, другой проверял тестовое задание, третий смотрел историю проектов кандидата.

Чего мы пока не знаем

Сам обмен состояниями мы ещё не измеряли. Числа выше относятся к голосованию, ревизии и спору. Они объясняют, почему мы ушли от этих схем, но не доказывают, что новая схема лучше. Следующий шаг: предрегистрация опыта с обменом состояниями, и результат мы опубликуем любой, включая отрицательный.

Данные синтетические. Компетенция кандидата в наших стенограммах видна уже с первого хода, и задачу почти так же решает TF-IDF с логистической регрессией (0,893 на отложенной выборке, как у лучшей LLM). На таком наборе методы различаются плохо. Различие схем решения надо проверять на реальных интервью, где признаки компетенции не лексические.

Каждый опыт прогнан один раз на модель. Интервалы честные по записям, но не по случайности обучения.

В опыте 3 стороны и судья работали на облачных весах в полной точности. На локальной карте с квантами картина может быть хуже.

Что из этого следует для тех, кто строит агентные системы

Несколько агентов на одной модели и одних данных не точнее одного: у нас потолок идеального обмена вышел в два пункта при интервале через ноль. Спор стоит проверить против одного судьи на своих данных, у нас он проиграл 7,7 пункта, и проверка цитат не отличила честного спорщика от нечестного.

Когда агентам всё же есть чем поделиться, пусть делятся тем, что видели и чего не знают, а вердикт выносит тот, кто собирает решение.

Ранние опыты с советом LoRA-экспертов и латентным обменом открыты: препринт Latent Debate Between LoRA Experts на Zenodo и код на github.com/iconicompany/latent-debate.

Все исследования