Большая языковая модель A-Vibe заняла первое место среди облегченных моделей (до 10 млрд параметров) в независимом российском бенчмарке MERA. Кроме того, технология обошла международные аналоги от OpenAI, Google и Anthropic. Она лучше аналогичных моделей понимает запросы, генерирует код и поддерживает осмысленный диалог. Технология уже работает в сервисах Авито — например, помогает продавцам писать продающие описания и быстрее договариваться о сделке в мессенджере. До конца года компания планирует добавить ещё 20 новых сценариев, а в будущем может открыть код модели для всех.
«Модель A-Vibe создавалась оптимальной по соотношению между качеством, скоростью работы и затратой ресурсов. Такой баланс позволяет обеспечивать быструю обработку запросов даже в периоды пиковой нагрузки и масштабировать технологию на всю аудиторию платформы. Именно обучение небольшой модели под наши нужды позволяет нам закладывать окупаемость инвестиций: компания планирует вложить в GenAI около 12 млрд рублей, а заработать более 21 млрд рублей к 2028 году», — отметил старший директор по данным и аналитике Авито Андрей Рыбинцев.
Технические особенности языковой модели
Команда разработала собственные генеративные модели A-Vibe и A-Vision, использовав для обучения на начальном этапе открытую модель. Однако она имела ограничения в работе с русским языком.
Модель обучалась на данных более чем 100 языков, при этом русский составлял менее 1% общего объема данных. Из-за этого модель плохо понимала и генерировала текст на русском.
Разработчики модифицировали и провели «русификацию» модели, заменив стандартный токенизатор на собственный, который умеет работать с русским языком.
Произошло ускорение работы: модель обрабатывает русский текст быстрее до двух раз, по сравнению с оригинальной моделью. Повысилось качество: понимание и генерация текста на русском становятся значительно лучше.
«Мы рассматриваем возможность выпуска модели в открытый доступ, что станет нашим вкладом в развитие российского рынка ИИ. Это поможет малому бизнесу внедрять передовые технологии без значительных инвестиций, образовательным учреждениям — создавать прикладные программы, а независимым разработчикам — строить современные сервисы на базе отечественных технологий. Для нас это возможность получить ценную обратную связь от рынка и улучшить наши модели», — прокомментировала руководитель разработки больших языковых моделей Авито Анастасия Рысьмятова.
Бенчмарк MERA — это российский стандарт оценки языковых моделей, разработанный научным сообществом. В рамках замера тестируют понимание русского языка и культурного контекста. Проект поддерживают альянс ИИ, ведущие индустриальные игроки и академические партнеры, которые занимаются исследованием языковых моделей.