Российские исследователи сократили число шагов для подстройки гиперпараметров.
Российские исследователи создали алгоритм JAGUAR. Он ускоряет оптимизацию гиперпараметров в системах ИИ и уменьшает число шагов, необходимых для настройки моделей.
Как сообщили в пресс-службе Сбера, JAGUAR подходит для двухэтапных процессов. На первом этапе нейросеть обучается извлекать числовые представления данных, а на втором — эти данные используются для максимальной точности классификации. Также разработчики используют алгоритм для дообучения больших языковых моделей.
Метод, созданный группой исследователей из Лаборатории искусственного интеллекта Сбербанка, МФТИ и Университета Иннополис под руководством научного сотрудника МФТИ Александра Безносикова, решает задачи, где нет точной формулы для расчета результата и приходится использовать приближенные оценки. Это особенно важно при разработке и дообучении ИИ-моделей, где традиционные алгоритмы, такие как Франк-Вульф, не справляются.
Тестирование JAGUAR показало, что он подстраивает модели быстрее и эффективнее, чем существующие методы, особенно в условиях случайных ошибок при вычислениях. Разработчики уже подтвердили его превосходство над аналогами, представленными в открытом доступе.
