Alibaba выпустила серию языковых моделей Qwen с открытым исходным кодом

Что произошло

Alibaba Cloud представила серию больших языковых моделей Qwen с открытым исходным кодом. В линейку вошли четыре модели разного размера: Qwen-1.8B, Qwen-7B, Qwen-14B и флагманская Qwen-72B. Для каждой версии доступны как базовые языковые модели, так и чат-версии, дообученные для диалогов.

Детали

Модели обучались на 2.2-3 триллионах токенов многоязычных данных с акцентом на английский и китайский. Ключевые особенности:

• Поддержка длинного контекста до 32 тысяч токенов (для Qwen-72B и Qwen-1.8B)
• Квантованные версии (Int4, Int8) для экономии памяти
• Интеграция инструментов — модели могут использовать внешние API и сервисы
• Производительность: Qwen-72B опережает LLaMA2-70B на всех тестах и превосходит GPT-3.5 в 7 из 10 категорий

Технические требования для запуска:

• Python 3.8+
• PyTorch 1.12+ (рекомендуется 2.0+)
• CUDA 11.4+ для GPU-ускорения

Почему это важно

Открытие доступа к таким мощным моделям — важный шаг для сообщества ИИ:

1. Доступность — теперь любой разработчик может экспериментировать с моделями уровня GPT-3.5
2. Мультиязычность — сильная поддержка китайского делает Qwen ценным инструментом для азиатского рынка
3. Гибкость — возможность дообучения (full-parameter, LoRA, Q-LoRA) под конкретные задачи
4. Эффективность — квантованные версии позволяют запускать модели на consumer-железе

Что дальше

Alibaba уже анонсировала Qwen2 — следующее поколение моделей. Разработчикам стоит обратить внимание на:

• Интеграцию с популярными фреймворками (vLLM, FastChat)
• Развитие агентских возможностей (использование инструментов)
• Оптимизацию для edge-устройств

«Мы открываем наши модели, чтобы ускорить исследования и разработки в области ИИ», — отмечают создатели Qwen в техническом отчёте.

Проект активно развивается, а сообщество уже начинает адаптировать модели для различных бизнес-кейсов — от чат-ботов до аналитических систем.