В Университете Иннополис разработали сервис на основе искусственного интеллекта для оптимизации российского каталога промышленной продукции. Программа исправляет ошибки в описаниях товаров и убирает неактуальную информацию. Сервис тестирует Министерство промышленности и торговли Российской Федерации.
Каталог Минпромторга содержит сведения о более 1,5 млн видах продукции, большая часть которой внесена вручную. Разработанный сервис автоматически ищет и исправляет ошибки. В процессе тестирования программа выявила и скорректировала более 750 тыс. неточностей.
К примеру, один и тот же товар разных производителей мог содержать только название или описание, причем характеристики не были стандартными — в текстах использовались синонимы и сокращения. Разбить такое количество описаний на 20 тысяч кластеров — не самая тривиальная задача, решить которую человек может только в большой команде специалистов из разных отраслей и за длительный период.
Рамиль Кулеев, директор Исследовательского центра в сфере искусственного интеллекта Университета Иннополис
С помощью поиска и объединения похожих товаров в единые кластеры, ИИ создал 25 тыс. шаблонов описаний, что уменьшило количество ошибок и удвоило скорость ввода данных. При этом, как отмечают разработчики, обработка информации заняла всего несколько часов, а с появлением новых товаров в каталоге эти шаблоны будут обновляться в автоматическом режиме.
Также благодаря сервису улучшен поиск по запросу на естественном языке. Модуль предобработки запросов и оптимизации баз данных удваивает релевантности результатов поиска при одновременном утроении количества найденных товаров и ускорении скорости поиска на 45%.
