Ученые из Университетского колледжа Лондона обнаружили, что искусственный интеллект может принимать иррациональные решения, отличающиеся от человеческой иррациональности. Об этом сообщает My-News.az со ссылкой на Day.az.
Специалисты применили методы когнитивной психологии для тестирования современных больших языковых моделей (LLM), включая GPT-4, GPT-3.5, Google Bard, Claude 2, и Llama 2 (7b, 13b, 70b). Целью было выяснить, соответствуют ли LLM критериям рационального агента, руководствуясь правилами логики и вероятности.
ИИ предоставили 12 известных когнитивных тестов, таких как задача выбора Уэйсона, проблема Линды и проблема Монти Холла. Предыдущие исследования показали, что только 14% людей правильно решают задачу Линды, и 16% – задачу Уэйсона.
Результаты показали, что LLM часто демонстрируют иррациональность, давая разные ответы на один и тот же вопрос при многократных попытках и совершая простые ошибки, такие как ошибки сложения или путаница согласных и гласных.
Доля правильных ответов на задачу Уэйсона варьировалась: около 90% у GPT-4, и 0% у GPT-3.5 и Google Bard. Llama 2 70b правильно ответила в 10% случаев, ошибочно приняв букву К за гласную. Некоторые модели отказались отвечать на задания из-за этических соображений, что, вероятно, связано с неправильными настройками. Дополнительный контекст, который улучшает ответы людей, не оказал значительного влияния на результаты LLM.