Что произошло
NVIDIA анонсировала новую языковую модель Nemotron-Labs-TwoTower-30B с революционным подходом к генерации текста. Вместо последовательного предсказания токенов (как в ChatGPT) она использует параллельную обработку блоков через механизм «диффузии масок» — это ускоряет работу без существенной потери качества.
Детали
Модель построена на двух компонентах:
- Контекстная башня — классическая авторегрессионная часть (как в GPT), которая анализирует prompt и историю диалога
- Денойзерная башня — инновационный блок, который предсказывает сразу несколько токенов параллельно, используя механизм диффузии
Технические особенности:
- Размер модели: 60 млрд параметров (30 млрд на каждую «башню»)
- Поддержка 16 языков, включая русский, английский, китайский
- Обучена на 2,1 трлн токенов (исходная база — 25 трлн)
- Блоки генерации: до 16 токенов за шаг
«При пороге уверенности 0,8 модель сохраняет 98,7% качества авторегрессионного базиса при 2,42× ускорении» — из технической документации
Модель не просто угадывает слова одно за другим. Сначала она делает «черновой набросок» блока текста (например, 16 слов), затем итеративно уточняет его — как художник, исправляющий эскиз.
Почему это важно
- Скорость: 2,4-кратное ускорение генерации критично для чат-ботов и интерактивных систем
- Мультиязычность: Поддержка русского и других языков в одной модели
- Специализация: Хорошие результаты в генерации кода (75,6% в HumanEval) и математике (90,1% в GSM8K)
- Доступность: Открытые веса и коммерческая лицензия позволяют интегрировать модель в продукты
Что дальше
NVIDIA продолжает развивать линейку Nemotron, обещая:
- Улучшение качества генерации на малых языках
- Оптимизацию для облачных решений
- Интеграцию с инструментами вроде vLLM и Transformers
Модель требует значительных вычислительных ресурсов (рекомендуются GPU H100) и пока уступает авторегрессионным аналогам в задачах точного кодирования.
Источники
- Оригинал: huggingface.co — © huggingface.co