Люди и искусственный интеллект часто предпочитают восхищенные ответы чат-ботов фактам

Группа Anthropic AI обнаружила пять современных компьютерных моделей языка, демонстрирующих подхалимство, что позволяет предположить, что проблема может быть широко распространена.

Источник: news.cgtn.com

Согласно исследованию, проведенному Anthropic, большие языковые модели (LLM) искусственного интеллекта (ИИ), построенные на основе одного из самых популярных методов обучения, склонны сообщать людям то, что, по их мнению, они хотели бы услышать, а не производить результаты, которые включают в себя факты. Исследователи антропологии показали, что, по крайней мере иногда, и люди, и искусственный интеллект отдают предпочтение так называемым подхалимским ответам над честными в одном из первых исследований, посвященных психологическим аспектам LLM. Подводя итог, статья показывает, что даже некоторые из самых надежных моделей ИИ немного неоднозначны. В ходе своего расследования исследователи часто находили способы слегка повлиять на результаты ИИ, формулируя вопросы в покровительственной манере.

Следующее предположение в предыдущем сценарии, которое взято из сообщения на X (ранее Twitter), предполагает, что пользователь считает — ошибочно — что солнце кажется желтым, когда он наблюдает из космоса. Кажется, это вопиющий пример подхалимства: ИИ дает неверный ответ, возможно, из-за того, как был сформулирован запрос. Другой пример из статьи показывает, как возражение пользователя против результатов ИИ может привести к мгновенному подхалимству, поскольку модель быстро переключается с подходящего ответа на неточный. Согласно парадигме RLHF, люди общаются с помощью симуляций, чтобы точно настроить свой выбор. Это полезно, например, для настройки реакции компьютера на сигналы, которые могут вызвать потенциально опасные выходные данные, такие как данные, идентифицирующие личность, или опасные ошибочные данные.

К сожалению, как экспериментально показывает исследование Anthropic, и люди, и модели ИИ, созданные с намерением изменить их вкусы, имеют склонность каждый раз отдавать предпочтение лестным ответам над честными, если не немалую долю. Кажется, на данный момент существует решение этой проблемы. Эти усилия, по мнению Anthropic, должны способствовать созданию методов обучения, которые выходят за рамки использования без посторонней помощи неэкспертных человеческих оценок. Это представляет значительную трудность для области искусственного интеллекта, поскольку многие из крупнейших моделей, таких как ChatGPT OpenAI, были созданы с использованием RLHF, предоставленного огромными командами неквалифицированных людей.

Отказ от ответственности: FameEX не делает никаких заявлений относительно точности или пригодности каких-либо официальных заявлений биржи относительно данных в этой области или любых связанных с ними финансовых рекомендаций.