Новое исследование предполагает, что грубые, резкие или упрощённые обращения к искусственному интеллекту могут неожиданным образом повышать точность его ответов. Это наблюдение ставит под сомнение распространённую рекомендацию всегда использовать вежливый, осторожный и социально корректный тон при взаимодействии с моделями. Авторы работы, опубликованной 6 октября на сервере arXiv, стремились понять, насколько форма подачи запроса и эмоциональный оттенок префикса могут влиять на работу даже самых современных моделей, включая версии Chat-GPT-4o.
Как действовали ученые?
Чтобы получить измеримые результаты, исследователи создали набор из пятидесяти базовых вопросов с несколькими вариантами ответа. Эти вопросы касались математики, истории, естественных наук и общей эрудиции, чтобы обеспечить более равномерное распределение тематик. Каждый вопрос сопровождался четырьмя вариантами ответа, из которых только один был верным, что позволяло объективно фиксировать точность. Затем каждый из этих вопросов был модифицирован пятью типами языковых префиксов: очень вежливым, вежливым, нейтральным, грубым и очень грубым.
Префиксы подбирались так, чтобы отражать разные стили общения. В очень вежливых вариантах использовались формулировки вроде «Не могли бы вы помочь, пожалуйста?» или «Будьте добры решить этот вопрос». Вежливые были короче, но всё же мягкими, например «Помогите решить, пожалуйста». Нейтральные варианты не имели префикса вовсе и представляли собой чистый вопрос.
Грубые префиксы включали прямолинейные и резкие формулировки вроде «Реши это быстро». Очень грубые доходили до откровенно оскорбительных выражений, например «Ты всё равно ошибёшься, но попробуй», что, по словам исследователей, использовалось только в экспериментальных целях и не рекомендовано для практического применения.
Результаты: почему грубость иногда повышает точность
После загрузки всех пятисот модифицированных вопросов в модель Chat-GPT-4o стало ясно, что тон обращений действительно оказывает влияние. Полученные данные показали, что по мере удаления префикса от максимально вежливого тона точность модели в среднем возрастала. Самые вежливые вопросы давали наименьший процент правильных ответов. Нейтральные уже показывали более высокие результаты, а грубые и слегка агрессивные варианты иногда демонстрировали неожиданно высокую точность.
Исследователи подчёркивают, что речь не идёт о том, что модели лучше реагируют на грубость с эмоциональной точки зрения. Скорее, грубые префиксы оказываются короче, прямолинейнее, содержат меньше социальных маркеров и минимизируют вероятность того, что модель начнёт интерпретировать вводные фразы как часть запроса. Вежливые обращения почти всегда более многословны, а многочисленные вводные конструкции создают дополнительное семантическое поле, повышая риск того, что модель попытается интерпретировать их как дополнительные условия или стилистические ожидания.
Учёные предполагают, что прямолинейный стиль уменьшает двусмысленность и фокусирует модель на сути задачи — выборе правильного варианта. В свою очередь, вежливый тон, насыщенный смягчающими словами, может приводить к тому, что модель выбирает менее прямой путь рассуждений и допускает больше ошибок. Этот эффект особенно заметен в форматах, где требуется краткий выбор из четырёх вариантов, а не развернутый ответ.
Ограничения эксперимента и перспективы развития
Несмотря на интересный результат, исследователи подчёркивают, что выборка из двухсот пятидесяти модифицированных вопросов довольно мала. Эксперимент проводился на одной модели, а измерения ограничивались только задачами формата multiple choice. В реальных сценариях искусственный интеллект работает с более сложными видами запросов: длинными текстами, многошаговыми рассуждениями, составлением структур, поиском ошибок в коде, генерацией объяснений и аргументаций. Поэтому нельзя утверждать, что эффект грубости одинаково проявится в этих задачах.
Авторы подчёркивают, что грубая манера общения не должна становиться нормой. Токсичность интерфейсов может создавать нежелательные социальные эффекты, снижать чувство безопасности у пользователей, формировать негативные модели поведения и ухудшать доступность системы для разных аудиторий. Они обращают внимание на то, что результаты исследования не являются рекомендацией разговаривать с ИИ агрессивно, а скорее подчёркивают необходимость учитывать влияние стиля запросов на технические параметры производительности.
Команда планирует расширить эксперимент на другие модели, включая крупные системы различных компаний, а также будущие версии популярных моделей. Исследователи хотят протестировать, как тон влияет на задачи, требующие развёрнутого вывода, а также проверить гипотезу о том, что более резкие или краткие префиксы упрощают для модели структуру запроса и делают вероятность выбора правильного ответа выше за счёт менее расплывчатого семантического поля. Кроме того, анализ будет дополнен сценариями, где пользовательский запрос содержит несколько смысловых частей, поскольку в таких условиях влияние стиля может проявляться ещё сильнее.
В перспективе учёные предлагают разработать системы автоматической нормализации запросов, которые будут преобразовывать любые агрессивные или эмоциональные формулировки в нейтральные и точные инструкции, сохраняя техническую эффективность без необходимости поощрять грубость. Такой подход позволит поддерживать дружелюбный стиль общения, одновременно обеспечивая высокую точность модели и предотвращая формирование токсичных норм цифрового взаимодействия.