Moonshot AI анонсировала открытую модель Kimi-K3 на 3 триллиона параметров

Что произошло

Китайская компания Moonshot AI, известная своими открытыми языковыми моделями серии Kimi, объявила о разработке Kimi-K3. Это будет первая в мире открытая модель класса 3T (3 триллиона параметров), предназначенная для сложных задач: программирования, аналитики и логических рассуждений.

Детали

Модель использует новую архитектуру на базе:

• Delta Attention — усовершенствованный механизм внимания
• Attention Residuals — остаточные связи для стабильного обучения

Ключевые возможности:

• Встроенные агентские функции: вызов инструментов, веб-поиск, многошаговое планирование
• Контекстное окно репозиторного масштаба — понимание крупных кодовых баз
• Открытые веса — модель можно будет скачать и дообучать

Почему это важно

1. Масштаб: 3T параметров — это новый рубеж для открытых моделей (для сравнения: GPT-4 оценивается в ~1.8T)
2. Длинный контекст: особенно полезно для работы с кодом и документами
3. Агентские возможности: модель может самостоятельно использовать инструменты без дополнительных обёрток
4. Открытость: в отличие от закрытых коммерческих моделей, Kimi-K3 можно будет адаптировать под свои задачи

«K3 — это следующее поколение открытых frontier-моделей для долгосрочных задач», — отмечают разработчики.

Что дальше

Moonshot AI продолжает линейку Kimi — текущая версия K2.7 уже доступна. Следите за:

• Техническим отчётом (ожидается ближе к релизу)
• Бенчмарками производительности
• Возможностями тонкой настройки