Kolibri-1: новый шаг в генерации текста на немецком и английском

Что произошло

Aleph Alpha представила новую модель генерации текста — Kolibri-1. Это мощная модель, которая поддерживает немецкий и английский языки, а также обладает уникальными функциями, такими как многошаговые рассуждения и вызов инструментов. Модель оптимизирована для работы с длинными контекстами и отличается высокой эффективностью при выполнении сложных задач.

Kolibri-1 использует архитектуру Mixture of Experts (MoE), что позволяет ей активировать только часть параметров для каждого токена. Это делает модель более экономичной в использовании, сохраняя при этом высокую производительность.

Детали

Kolibri-1 имеет 78 миллиардов параметров, из которых активными для каждого токена являются около 3,46 миллиарда. Модель поддерживает контекст длиной до 1 048 576 токенов, но для большинства задач рекомендуется использовать не более 262 144 токенов для обеспечения эффективности.

Модель была обучена на корпусе из 20 триллионов токенов, включая тексты на английском, немецком и программный код. Она также прошла дополнительное обучение для работы с длинными контекстами и улучшения качества генерации.

Kolibri-1 поддерживает режим рассуждений, что позволяет ей выполнять сложные задачи, требующие логического мышления. Также модель может вызывать внешние инструменты, что делает её полезной для интеграции в агентские системы.

Почему это важно

Kolibri-1 представляет собой значительный шаг в развитии моделей генерации текста, особенно для немецкого и английского языков. Её способность к многошаговым рассуждениям и вызову инструментов открывает новые возможности для создания интеллектуальных помощников и систем автоматизации.

Модель может быть полезна для разработчиков, которые работают над созданием систем обработки документов, вопросно-ответных систем и инструментов для автоматизации рабочих процессов. Благодаря поддержке длинных контекстов, Kolibri-1 также подходит для задач, связанных с обработкой больших объёмов текста.

Что дальше

С выпуском Kolibri-1 Aleph Alpha продолжает укреплять свои позиции на рынке генеративных моделей. В будущем можно ожидать дальнейшего улучшения модели, а также расширения её функциональности для новых задач и языков.