В исследовании 2024 года, посвященном медицинской ИИ-модели Med-Gemini от Google, была допущена ошибка: модель придумала несуществующую структуру мозга — «базилярные ганглии». Об этом пишет The Verge.
Ошибка осталась незамеченной как авторами, так и рецензентами статьи: ее обнаружили читатели год спустя. Med-Gemini «смешал» два существующих термина: базилярную артерию — крупный сосуд у основания мозга, и базальные ганглии — скопления нейронов, участвующих в регуляции движения и когнитивных функций.
В результате в разделе, посвященном интерпретации сканов мозга, появилась несуществующая анатомическая структура — «базилярные ганглии». Эта галлюцинация ИИ не только анатомически неверна, но и подчеркивает риски излишнего доверия к нейросетям в критически важных медицинских приложениях.
Эксперты, опрошенные The Verge, отмечают, что подобные ошибки, если остаются незамеченными, могут проникать в литературу и программы, которые используют врачи, влияя на постановку диагнозов и принятие клинических решений. Представители отрасли предупреждают, что такие случаи требуют пристального внимания.
Регулирующие органы уже учитывают риск галюцинаций, пишут журналисты. Американское Управление по санитарному надзору за качеством пищевых продуктов и медикаментов (FDA) требует доказательств безопасности и эффективности медицинских ИИ-систем. Эксперты считают, что подобные инциденты могут замедлить массовое внедрение ИИ в здравоохранении.
В ответ на риски исследователи призывают к созданию гибридных систем, в которых решения ИИ дополняются аудитом со стороны экспертов, а также к внедрению прозрачных механизмов сообщения об ошибках. Случай с Med-Gemini показывает, что в условиях стремительной интеграции ИИ в медицину безопасность и точность должны оставаться в приоритете.
