Microsoft выпустила облегченную модель искусственного интеллекта Phi — 3 Mini с 3,8 млрд параметров, переменных используемых большой языковой моделью (LLM). Это первая и самая маленькая LLM, которую планирует выпустить компания. Также в линейке будут Phi — 3 Small и Phi — 3 Medium с 7 и 14 млрд параметров соответственно.
Разработчики заявляют, что небольшие модели Phi — 3 дают ответы близкие к тем, что генерируют более сложные модели, в которых количество параметров отличается на порядок. Phi — 3 Mini по своим возможностям не уступает GPT — 3.5, «только в меньшем форм-факторе», заявил корпоративный вице-президент Microsoft Azure AI Platform Эрик Бойд.
Небольшие модели ИИ дешевле в эксплуатации, требуют меньше ресурсов и лучше работают на персональных устройствах, таких как телефоны и ноутбуки. Многие ИТ-компании работают над созданием маленьких LLM, но, как правило, они специализируются на решении узких задач. Microsoft заявляет, что Phi — 3 — универсальное решение.
Для обучения Phi — 3 разработчики использовали необычную «программу». Их вдохновили детские книжки и сказки на ночь, которые простыми словами рассказывают о сложных вещах. Поскольку доступных детских книжек для обучения не хватило, в компании «взяли список из более чем 3000 слов» и попросили магистрантов университетов написать новые на заданные темы.
Разработчики добавляют, что по сложности ответов и комплексности информации Phi — 3 уступает передовым LLM, например, GPT — 4. Но при этом подобные небольшие модели хорошо подойдут для индивидуальных приложений компаний: внутренние наборы данных в любом случае будут меньше. А поскольку малым моделям не требуется большая вычислительная мощность, они зачастую гораздо более экономичны.
