Корпорация «Яндекс» представила Alice AI Foundation LLM — экспериментальную большую языковую модель, предназначенную для исследовательских и коммерческих проектов. Компания не просто открыла готовый продукт, а опубликовала базовую версию собственной разработки, созданную с нуля. Вместе с моделью «Яндекс» предоставил наборы тестов для оценки русскоязычных знаний и качества ответов.
Alice AI Foundation LLM — это предварительно обученная языковая модель. Это означает, что модель уже познакомилась с большими объемами текстовых данных и научилась: понимать естественный язык; продолжать и анализировать тексты; отвечать на вопросы; работать с программным кодом; решать математические задачи; учитывать контекст диалога; формулировать связные ответы на русском языке. При этом разработчики могут дополнительно адаптировать модель под конкретную область. Модель распространяется под лицензией Apache 2.0. Она допускает использование разработки в исследовательских и коммерческих проектах, а также ее интеграцию в собственные продукты при соблюдении условий лицензии.
Alice AI Foundation LLM построена на архитектуре Mixture of Experts, или «смеси экспертов». Такой подход позволяет сделать модель масштабной, но снизить объем вычислений, необходимых для обработки каждого отдельного запроса. Общее количество параметров модели составляет 80 млрд. При генерации ответа задействуется около 3 млрд параметров из 80 млрд. Таким образом, модель сочетает два преимущества: большой общий объем параметров и небольшое количество активных параметров. Благодаря этому снижаются затраты на обработку запросов.
Одним из главных преимуществ разработки называют работу с русскоязычными запросами. Для пользователей важны не только общий объем знаний модели, но и способность учитывать особенности языка: сложную морфологию; свободный порядок слов; многозначность терминов; культурный и исторический контекст; российские реалии; названия организаций, регионов и персоналий; различия между разговорной и официальной речью. Универсальные зарубежные модели могут хорошо справляться с английским языком, но иногда ошибаются в локальных фактах или формулируют ответы с недостаточным учетом русскоязычного контекста.
Несмотря на высокие результаты, Alice AI Foundation LLM пока не следует воспринимать как полностью готовую замену универсальному помощнику. Экспериментальный статус означает, что модель может иметь ограничения и допускать ошибки. Для критически важных областей — медицины, права, финансов и управления инфраструктурой — ответы модели необходимо проверять специалистами. Также важно учитывать вопросы конфиденциальности, авторских прав и защиты персональных данных при подготовке собственных приложений.
Фото на обложке: zulfugar karimov/ unsplash
