Японский стартап Sakana заявил, что искусственный интеллект The AI Scientist-v2 написал научную статью, которая прошла «слепое рецензирование» и была принята для публикации. Однако эксперты указывают на ряд важных оговорок, которые ставят под сомнение значимость этого достижения.
Согласно заявлению Sakana, система Scientist-v2 создала три научных статьи, которые представили на семинар в рамках авторитетной конференции по искусственному интеллекту ICLR. Из трех работ одна была принята — статья, критически рассматривающая методы обучения моделей ИИ. Компания утверждает, что эксперимент проводился в сотрудничестве с исследователями из Университета Британской Колумбии и Оксфорда.
Мы генерировали исследовательские идеи, предоставляя ИИ аннотацию и описание семинара. Это гарантировало, что сгенерированные статьи соответствовали теме и были подходящими для подачи.
Роберт Ланге, научный сотрудник и основатель Sakana
По словам представителей компании, ИИ создал статьи «от начала до конца», включая формулировку научных гипотез, проведение экспериментов, написание кода, анализ данных, создание визуализаций и подготовку текста. После принятия статьи Sakana немедленно отозвала ее до публикации, руководствуясь принципами прозрачности и уважения к конвенциям конференции.
Статья, отобранная для концеренции. Изображение: Sakana
Однако в этом достижении есть несколько важных оговорок, считают эксперты. В сообщении в блоге Sakana признает, что их ИИ допускал «неловкие» ошибки в цитировании, например, ошибочно приписывая метод статье 2016 года вместо оригинальной работы 1997 года.
Кроме того, рецензирование статьи не было таким строгим, как для обычных научных публикаций. Поскольку компания отозвала работу после первой рецензии, статья не прошла этап мета-рецензирования, в ходе которого организаторы семинара еще могли ее отклонить. Также важно, что процент одобрения публикаций для семинаров, как правило, выше, чем для основного трека конференции. Компания признала, что ни одна из созданных их ИИ работ не прошла внутренний отбор для публикации в основной программе ICLR.
Эксперты в области искусственного интеллекта неоднозначно оценивают достижение Sakana. , назвал результаты «немного вводящими в заблуждение».
Сотрудники Sakana выбрали статьи из некоторого количества сгенерированных, то есть они использовали человеческое суждение в плане выбора результатов, которые, по их мнению, могли бы попасть. Я думаю, это показывает, что люди плюс ИИ могут быть эффективными, а не то, что ИИ в одиночку может обеспечивать научный прогресс.
Мэтью Гуздиал, исследователь ИИ и доцент Университета Альберты
Майк Кук, научный сотрудник Королевского колледжа Лондона, отметил, что новые семинары часто проверяются молодыми исследователями, а тематика семинара — отрицательные результаты и трудности — делает более простым для ИИ задачу убедительно написать о неудаче.
Нам нужно спросить себя, является ли результат показателем того, насколько хорош ИИ в разработке и проведении экспериментов, или же он свидетельствует о том, насколько он хорош в продаже идей людям — в чем, как мы знаем, ИИ и так отлично разбирается. Есть разница между прохождением экспертной оценки и внесением знаний в область.
Майк Кук, научный сотрудник Королевского колледжа Лондона
Сама Sakana не утверждает, что ее ИИ способен создавать новаторские научные работы. По заявлению компании, цель эксперимента — изучить качество исследований, созданных ИИ, и показать необходимость разработки норм для технологий в науке.
