Модель Llama 3.1 от Meta* содержит 405 млрд параметров. Марк Цукерберг прогнозирует, что ИИ к концу года превзойдет по популярности ChatGPT.
Компания Meta* во вторник объявила о выпуске Llama 3.1, последней версии своей большой языковой модели (LLM). По словам разработчиков, новый ИИ по ряду тестов и параметров превосходит аналогичные проприетарные разработки из OpenAI и Anthropic. Самая полная версия модели включает 405 млрд параметров, что все еще меньше 1,8 трлн параметров в GPT — 4.
Обновленная модель появилась через три месяца после того, как Meta* запустила Llama 3. LLM интегрировали в умные очки и Meta AI* — чат-бот, который работает в Facebook*, Instagram* и WhatsApp в некоторых странах. В сравнении опубликованном в блоге американского техногиганта указывается, что в ряде тестов Llama 3.1 превосходит альтернативы, в том числе, последние версии GPT — 4o и Claude 3.5 Sonnet от OpenAI и Anthropic соответственно.
Сравнение Llama 3.1 405B c другими моделями. Изображение: Meta*
Meta* заявляет, что Llama 3.1 405B — первая общедоступная модель, которая может конкурировать с закрытыми продуктами в общих знаниях, математических навыках и переводе на несколько языков. Для обучения компания использовала 16 000 графических процессоров Nvidia H100.
«405B» означает 405 миллиардов параметров, которые ИИ использует для рассуждений и принятия решений. Помимо большой модели, компания также выпустила обновления двух «малых» моделей Llama, которые содержат 70 млрд и 8 млрд параметров. Представители техногиганта утверждают, что новые версии также превосходят по многим параметрам конкурентов.
Сравнение Llama 3.1 70B и 8B c сопоставимыми моделями. Изображение: Meta*
В отличие от OpenAI, Google, Microsoft и Anthropic, которые сохраняют свои модели ИИ в собственности, Llama предоставляется с открытым исходным кодом, отмечают в Meta*. Генеральный директор компании Марк Цукерберг утверждает, что такой подход с обеспечит более широкий доступ к преимуществам технологии, предотвратит концентрацию власти среди нескольких крупных компаний и обеспечит более безопасное развертывание ИИ.
Разработчики могут загрузить Llama 3.1 с официального сайта модели, также она, как заявляют создатели, доступна у партнеров компании, включая AWS, Nvidia, Databricks, Groq, Dell, Azure и Google Cloud. Пользователи могут протестировать ИИ в чат-боте Meta AI*, а в отдельных странах в Facebook*, Instagram* и WhatsApp. Модель умеет генерировать как текст, так и изображения, но в боте пока используется версия с 70 млрд параметров.
* Компания Meta Platforms Inc. признана в России экстремистской. Деятельность компании и принадлежащих ей социальных сетей Facebook и Instagram на территории РФ запрещена.
