В слепом тестировании участники эксперимента чаще считали человеком чат-бот, чем реальных собеседников. Препринт публикации, которая пока не прошла официального рецензирования, опубликован на портале arXiv.
Впервые модель искусственного интеллекта официально прошла тест Тьюринга — способ оценки способности машины выдавать себя за человека. В эксперименте, которые провели ученые из Калифорнийского университета в Сан-Диего, участники принимали модель GPT — 4.5 от OpenAI за человека в 73% случаев при трехстороннем общении.
Тест Тьюринга, предложенный математиком Аланом Тьюрингом в 1950 году, долгое время считался золотым стандартом для определения человекоподобного интеллекта машин. В классической версии теста человек-экзаменатор общается одновременно с человеком и компьютером через текстовый интерфейс и пытается определить, кто есть кто.
Participants spoke to two «witnesses» at the same time: one human and one AI. Here are some example convos from the study. Can you tell which one is the human? Answers & original interrogator verdicts in the paper…
You can play the game yourself here: https://t.co/onvhPyB8bk pic.twitter.com/5lmimwlVbI
— Cameron Jones (@camrobjones) April 1, 2025
В эксперименте участвовало около 300 человек, которых случайным образом разделили на две группы: половина была экзаменаторами, а вторая половина — пыталась доказать, что они люди. Каждый экзаменатор общался параллельно с человеком и с чат-ботом. В конце теста участников просили определить, кто из двух собеседников искусственный интеллект.
Тесты провели в двух вариантах: в одном ИИ предварительно просили принять роль определенного человека, например, молодого интернет-гика. В других случаях чат-бот действовал без подсказок. В режиме имитации человека сразу две модели показали результаты выше 50%: GPT — 4.5 приняли за человека в 75,5% случаев, а LLaMa от Meta* — в 64,7%.
Результаты тестирования моделей.
Примечательно, что без специальных подсказок результаты были существенно ниже — GPT — 4.5 достигла лишь 36% успеха, а GPT — 4o — всего 21%. Удивительным открытием стало то, что даже примитивный чат-бот ELIZA, разработанный около 80 лет назад, показал результат в 23%.
Попробовать опознать искусственный интеллект можно на сайте проекта.
Эксперты отмечают, что прохождение теста Тьюринга не означает, что ИИ действительно мыслит как человек. Современные языковые модели тренируются на огромных объемах текста, созданного людьми, что позволяет им мастерски имитировать человеческую речь даже в ситуациях, когда они не понимают сути вопроса.
* Компания Meta Platforms Inc. признана в России экстремистской. Деятельность компании и принадлежащих ей социальных сетей Facebook и Instagram на территории РФ запрещена
