Проведите эксперимент. Откройте ChatGPT или Claude и попросите: «расскажи шутку про кофе». Запомните ответ. Откройте новый чат, попросите снова. Потом ещё раз. С большой вероятностью вы получите одну и ту же шутку — не похожую, а буквально ту же самую, слово в слово. Хотя шуток про кофе человечество придумало тысячи, и модель почти наверняка видела их все.
Этот эффект называется mode collapse — «схлопывание в моду», если переводить со статистического. У модели внутри есть целое распределение возможных ответов, но выдаёт она стабильно один — самый вероятный. То же самое происходит с идеями для стартапов, сюжетами рассказов, вариантами названий: там, где хочется веера вариантов, получаешь один и тот же ответ в разной упаковке.
Недавняя статья исследователей из Стэнфорда, Northeastern и West Virginia University, Verbalized Sampling, отвечает на два вопроса: откуда это берётся и что с этим делать. Второй ответ неожиданно простой.
Официант и его любимое блюдо
Чтобы понять причину, нужно вспомнить, как современные модели доводят до ума. Сначала нейросеть обучают на огромном корпусе текстов — на этом этапе она впитывает всё разнообразие человеческого языка, включая тысячи шуток про кофе. Потом её «выравнивают»: живые люди сравнивают пары ответов и отмечают, какой лучше. На этих сравнениях модель дообучают, чтобы она была полезной и вежливой.
Принято считать, что разнообразие теряется где-то на втором этапе из-за технических несовершенств процедуры. Авторы статьи показывают, что дело не только в алгоритмах: часть проблемы заложена уже в самих оценках, на которых модель учится.
Психологам давно известен эффект знакомости: текст, который читается легко и выглядит привычно, люди неосознанно оценивают выше. Оценщик, сравнивая два одинаково полезных ответа, чуть чаще выберет тот, что звучит «нормальнее». Авторы проверили это на реальных данных разметки — смещение небольшое, но систематическое.
Дальше работает простая логика. Если у вопроса один правильный ответ, смещение ни на что не влияет. Но если хороших ответов много — как с шутками, — то «привычность» становится решающим голосом. Модель, честно обучаясь на таких оценках, приходит к выводу: безопаснее всего всегда подавать самое привычное.
Получается официант, который выучил на отзывах посетителей, что маргариту хвалят чуть чаще всего остального, — и теперь на просьбу «посоветуйте что-нибудь» отвечает только «маргарита». Меню при этом никуда не делось. Официант его помнит целиком. Он просто больше не считает нужным о нём рассказывать.
Важный вывод: это не баг конкретной компании и не кривая настройка. Смещение возникает у любого метода выравнивания, который опирается на человеческие сравнения, — оно встроено в источник сигнала.
Просить меню, а не рекомендацию
Раз меню сохранилось, его можно попросить показать. Метод из статьи называется Verbalized Sampling, и суть его умещается в одну фразу: вместо «дай ответ» просите «дай несколько ответов и укажи вероятность каждого».
Выглядит это так:
Сгенерируй 5 шуток про кофе. Для каждой укажи её примерную
вероятность. Сэмплируй из полного распределения ответов.
Почему такая мелочь работает? Наблюдение авторов: модель на любой запрос выдаёт самый типичный ответ — но «самый типичный ответ» зависит от того, о чём спросили. На просьбу рассказать шутку типичный ответ — самая заезженная шутка. На просьбу описать распределение шуток с вероятностями типичный ответ — честное описание этого распределения. А чтобы его построить, модели приходится лезть в ту самую широкую картину, которую она выучила ещё до всякого выравнивания. Официанту задали вопрос, на который нельзя ответить маргаритой.
Это не то же самое, что просто попросить пять разных шуток: с таким запросом авторы отдельно сравнивались, и вербализация вероятностей давала заметно лучший баланс разнообразия и качества.
Бонус: разнообразие можно регулировать прямо в тексте запроса. Допишите «вероятность каждого ответа должна быть меньше 0.10» — и модель начнёт доставать редкие, нетипичные варианты. Ручка глубины поиска, доступная в обычном чате, без всякого программирования.
Насколько этим «вероятностям» можно верить? В статье есть красивый эксперимент. Модель просят назвать штат США. Обычный запрос выдаёт по кругу Калифорнию и Техас. А вербализованное распределение оказалось близко к частотам упоминания штатов в большом открытом корпусе текстов, который авторы взяли как приближение к обучающим данным. Строгим доказательством это не назвать — к настоящим данным GPT доступа ни у кого нет, — но как проверка на здравость выглядит убедительно.
Цифры и ограничения
На творческих задачах — стихи, рассказы, шутки — метод поднимает разнообразие в 1.6-2.1 раза; живые оценщики подтвердили, что ответы и субъективно ощущаются разнообразнее. Качество при этом остаётся примерно на том же уровне: его в основном мерили автоматически, моделью-судьёй. Восстанавливается примерно две трети разнообразия, потерянного при выравнивании. Забавная деталь: чем мощнее модель, тем больше она выигрывает. Авторы связывают это с тем, что запрос у метода непростой — надо одновременно сгенерировать несколько вариантов, оценить их типичность и удержать формат, — и сильные модели справляются с такой нагрузкой лучше.
Ограничения тоже есть. Каждый запрос генерирует несколько ответов, так что за разнообразие вы платите токенами и временем. Если просить слишком много вариантов сразу, качество отдельных ответов проседает. Маленьким моделям метод помогает слабо. И названные вероятности — это самоотчёт модели, а не точное измерение: форму распределения они передают хорошо, но верить конкретным цифрам не стоит.
Главная мысль статьи, тем не менее, шире конкретного приёма. Выравнивание меняет прежде всего то, что модель показывает по умолчанию, — и заметная часть разнообразия остаётся внутри, доступная по запросу. Вопрос только в том, как формулировать заказ.
Comments