[{"data":1,"prerenderedAt":128},["ShallowReactive",2],{"content-llms-are-more-creative-ru":3},{"id":4,"title":5,"articleTitleSource":6,"articleValid":7,"articleWarnings":8,"body":9,"comments":7,"date":112,"date_updated":8,"description":113,"extension":114,"icon":115,"image":116,"language":117,"meta":118,"navigation":7,"path":119,"publish-to":8,"readingTime":120,"seo":122,"stem":123,"titleEasterEgg":8,"titleLines":124,"topics":125,"translationKey":126,"__hash__":127},"content/llms-are-more-creative-ru.md","LLM креативнее, чем притворяются","h1",true,null,{"type":10,"value":11,"toc":105},"minimark",[12,16,19,31,36,39,42,45,48,51,54,58,61,64,75,83,86,89,92,96,99,102],[13,14,15],"p",{},"Проведите эксперимент. Откройте ChatGPT или Claude и попросите: «расскажи шутку про кофе». Запомните ответ. Откройте новый чат, попросите снова. Потом ещё раз. С большой вероятностью вы получите одну и ту же шутку — не похожую, а буквально ту же самую, слово в слово. Хотя шуток про кофе человечество придумало тысячи, и модель почти наверняка видела их все.",[13,17,18],{},"Этот эффект называется mode collapse — «схлопывание в моду», если переводить со статистического. У модели внутри есть целое распределение возможных ответов, но выдаёт она стабильно один — самый вероятный. То же самое происходит с идеями для стартапов, сюжетами рассказов, вариантами названий: там, где хочется веера вариантов, получаешь один и тот же ответ в разной упаковке.",[13,20,21,22,30],{},"Недавняя статья исследователей из Стэнфорда, Northeastern и West Virginia University, ",[23,24,29],"a",{"href":25,"rel":26,"target":28},"https://arxiv.org/abs/2510.01171",[27],"nofollow","_blank","Verbalized Sampling",", отвечает на два вопроса: откуда это берётся и что с этим делать. Второй ответ неожиданно простой.",[32,33,35],"h2",{"id":34},"официант-и-его-любимое-блюдо","Официант и его любимое блюдо",[13,37,38],{},"Чтобы понять причину, нужно вспомнить, как современные модели доводят до ума. Сначала нейросеть обучают на огромном корпусе текстов — на этом этапе она впитывает всё разнообразие человеческого языка, включая тысячи шуток про кофе. Потом её «выравнивают»: живые люди сравнивают пары ответов и отмечают, какой лучше. На этих сравнениях модель дообучают, чтобы она была полезной и вежливой.",[13,40,41],{},"Принято считать, что разнообразие теряется где-то на втором этапе из-за технических несовершенств процедуры. Авторы статьи показывают, что дело не только в алгоритмах: часть проблемы заложена уже в самих оценках, на которых модель учится.",[13,43,44],{},"Психологам давно известен эффект знакомости: текст, который читается легко и выглядит привычно, люди неосознанно оценивают выше. Оценщик, сравнивая два одинаково полезных ответа, чуть чаще выберет тот, что звучит «нормальнее». Авторы проверили это на реальных данных разметки — смещение небольшое, но систематическое.",[13,46,47],{},"Дальше работает простая логика. Если у вопроса один правильный ответ, смещение ни на что не влияет. Но если хороших ответов много — как с шутками, — то «привычность» становится решающим голосом. Модель, честно обучаясь на таких оценках, приходит к выводу: безопаснее всего всегда подавать самое привычное.",[13,49,50],{},"Получается официант, который выучил на отзывах посетителей, что маргариту хвалят чуть чаще всего остального, — и теперь на просьбу «посоветуйте что-нибудь» отвечает только «маргарита». Меню при этом никуда не делось. Официант его помнит целиком. Он просто больше не считает нужным о нём рассказывать.",[13,52,53],{},"Важный вывод: это не баг конкретной компании и не кривая настройка. Смещение возникает у любого метода выравнивания, который опирается на человеческие сравнения, — оно встроено в источник сигнала.",[32,55,57],{"id":56},"просить-меню-а-не-рекомендацию","Просить меню, а не рекомендацию",[13,59,60],{},"Раз меню сохранилось, его можно попросить показать. Метод из статьи называется Verbalized Sampling, и суть его умещается в одну фразу: вместо «дай ответ» просите «дай несколько ответов и укажи вероятность каждого».",[13,62,63],{},"Выглядит это так:",[65,66,72],"pre",{"className":67,"code":69,"language":70,"meta":71},[68],"language-text","Сгенерируй 5 шуток про кофе. Для каждой укажи её примерную\nвероятность. Сэмплируй из полного распределения ответов.\n","text","",[73,74,69],"code",{"__ignoreMap":71},[13,76,77,78,82],{},"Почему такая мелочь работает? Наблюдение авторов: модель на любой запрос выдаёт самый типичный ответ — но «самый типичный ответ» зависит от того, о чём спросили. На просьбу рассказать шутку типичный ответ — самая заезженная шутка. На просьбу описать ",[79,80,81],"em",{},"распределение"," шуток с вероятностями типичный ответ — честное описание этого распределения. А чтобы его построить, модели приходится лезть в ту самую широкую картину, которую она выучила ещё до всякого выравнивания. Официанту задали вопрос, на который нельзя ответить маргаритой.",[13,84,85],{},"Это не то же самое, что просто попросить пять разных шуток: с таким запросом авторы отдельно сравнивались, и вербализация вероятностей давала заметно лучший баланс разнообразия и качества.",[13,87,88],{},"Бонус: разнообразие можно регулировать прямо в тексте запроса. Допишите «вероятность каждого ответа должна быть меньше 0.10» — и модель начнёт доставать редкие, нетипичные варианты. Ручка глубины поиска, доступная в обычном чате, без всякого программирования.",[13,90,91],{},"Насколько этим «вероятностям» можно верить? В статье есть красивый эксперимент. Модель просят назвать штат США. Обычный запрос выдаёт по кругу Калифорнию и Техас. А вербализованное распределение оказалось близко к частотам упоминания штатов в большом открытом корпусе текстов, который авторы взяли как приближение к обучающим данным. Строгим доказательством это не назвать — к настоящим данным GPT доступа ни у кого нет, — но как проверка на здравость выглядит убедительно.",[32,93,95],{"id":94},"цифры-и-ограничения","Цифры и ограничения",[13,97,98],{},"На творческих задачах — стихи, рассказы, шутки — метод поднимает разнообразие в 1.6-2.1 раза; живые оценщики подтвердили, что ответы и субъективно ощущаются разнообразнее. Качество при этом остаётся примерно на том же уровне: его в основном мерили автоматически, моделью-судьёй. Восстанавливается примерно две трети разнообразия, потерянного при выравнивании. Забавная деталь: чем мощнее модель, тем больше она выигрывает. Авторы связывают это с тем, что запрос у метода непростой — надо одновременно сгенерировать несколько вариантов, оценить их типичность и удержать формат, — и сильные модели справляются с такой нагрузкой лучше.",[13,100,101],{},"Ограничения тоже есть. Каждый запрос генерирует несколько ответов, так что за разнообразие вы платите токенами и временем. Если просить слишком много вариантов сразу, качество отдельных ответов проседает. Маленьким моделям метод помогает слабо. И названные вероятности — это самоотчёт модели, а не точное измерение: форму распределения они передают хорошо, но верить конкретным цифрам не стоит.",[13,103,104],{},"Главная мысль статьи, тем не менее, шире конкретного приёма. Выравнивание меняет прежде всего то, что модель показывает по умолчанию, — и заметная часть разнообразия остаётся внутри, доступная по запросу. Вопрос только в том, как формулировать заказ.",{"title":71,"searchDepth":106,"depth":106,"links":107},4,[108,110,111],{"id":34,"depth":109,"text":35},2,{"id":56,"depth":109,"text":57},{"id":94,"depth":109,"text":95},"2026-07-11","Выравнивание часто заставляет LLM по умолчанию выбирать самый привычный ответ. Verbalized Sampling просит показать всё распределение и возвращает скрытое разнообразие.","md","streamline-ultimate-color:shapes","og-image.jpg","ru",{},"/llms-are-more-creative-ru",{"wordCount":121},813,{"title":5,"description":113},"llms-are-more-creative-ru","1","ai","llms-are-more-creative","Dxoh61xhSzSPL4B0erhA1ASqOdjdXZyCOirTvkyqsvY",1783917344439]