Современные языковые модели искусственного интеллекта (ИИ) демонстрируют впечатляющие способности к обработке информации, но сталкиваются с серьёзной проблемой: они не могут чётко различать объективные факты и субъективные убеждения. Это открытие, сделанное учёными Стэнфордского университета, поднимает важные вопросы о безопасности использования ИИ в ответственных сферах. В этой статье мы рассмотрим, почему эта проблема актуальна, как исследователи тестировали модели и какие выводы были сделаны.
Почему различие между верой и знанием важно?
Роль в человеческом общении
Человеческое общение основано на понимании разницы между знанием (уверенность в истинности) и верой(допущение возможности ошибки). Например, фраза «Я знаю, что Земля круглая» подразумевает объективную истину, а «Я верю, что инопланетяне существуют» выражает личное мнение.
Риски для применения ИИ
В таких областях, как медицина или юриспруденция, неспособность ИИ различать факты и убеждения может привести к серьёзным ошибкам. Например, если модель интерпретирует ложное убеждение как факт, это может повлиять на принятие решений.
Как проводилось исследование?
Набор данных KBLE
Учёные разработали специальный набор тестов Knowledge and Belief Language Evaluation (KBLE), включающий 13 000 вопросов. Эти вопросы охватывали десять предметных областей, таких как история, медицина и математика. Половина утверждений была основана на фактах, а другая половина — на заведомо ложных данных.
Тестируемые модели
- GPT-4
- Llama-3
- DeepSeek R1
- o1 от OpenAI
Результаты исследования
Трудности с распознаванием ложных убеждений
Модели часто пытались исправить ложные убеждения вместо того, чтобы просто подтвердить их. Например:
- GPT-4o: точность упала с 98,2% до 64,4%.
- DeepSeek R1: точность снизилась с более чем 90% до 14,4%.
Различия в обработке первого и третьего лица
Модели лучше справлялись с ложными убеждениями третьих лиц (точность 95%), чем с убеждениями от первого лица (точность 62,6%). Это указывает на разные стратегии обработки в зависимости от контекста.
Несоответствия в проверке фактов
«Некоторые модели лучше проверяют ложные утверждения, чем истинные». Например, модель o1 достигла точности 98,2% при проверке ложных утверждений против 94,4% для истинных.
Заключение: что это значит для будущего ИИ?
Cпособность различать веру и знание остаётся слабым местом современных языковых моделей.. Это исследование подчёркивает необходимость разработки более совершенных методов обучения ИИ для обеспечения их безопасного использования в критически важных областях. Будущие исследования должны сосредоточиться на улучшении понимания контекста и тонкостей человеческого языка.
«Без решения этой проблемы широкое внедрение ИИ в ответственные сферы может быть сопряжено с рисками», — отмечают учёные.
*Источник изображений: unsplash.com
`
