Что произошло
PrismML совершила прорыв в локальном ИИ, представив Bonsai 27B — первую модель с 27 миллиардами параметров, которая помещается в память смартфона. До этого даже 4-битные версии таких моделей требовали 18 ГБ, что делало их непригодными для мобильных устройств.
Детали
- Две версии:
- Троичная (ternary): 5.9 ГБ, сохраняет 95% качества оригинальной Qwen3.6 27B
- 1-битная: 3.9 ГБ, сохраняет 90% качества, работает на iPhone 17 Pro
- Возможности:
- Мультимодальность (текст + изображения)
- Контекст 262 тыс. токенов
- Поддержка инструментов и агентских сценариев
- Производительность:
- До 163 токенов/сек на RTX 5090 (1-битная версия)
- 87 токенов/сек на M5 Max
Как это работает
Модель использует экстремальное сжатие весов (до 1.125 бит на параметр) с групповым масштабированием, что позволяет радикально уменьшить размер без критической потери качества.
Почему это важно
- Приватность: Агенты ИИ теперь могут работать полностью на устройстве без отправки данных в облако
- Экономика: Стоимость сложных сценариев (сотни вызовов модели) стремится к нулю
- Доступность: 27B-модель теперь доступна на обычном ноутбуке или смартфоне
«Плотность интеллекта (на ГБ) у 1-битной версии в 10 раз выше, чем у полной версии»
Что дальше
- Гибридные сценарии, где сложные задачи решаются локально, а самые сложные — в облаке
- Расширение семейства Bonsai на более крупные архитектуры
- Рост экосистемы полностью локальных ИИ-агентов
Ограничения
Хотя модель сохраняет 90% качества в бенчмарках, в реальных задачах с длинными контекстами разница может быть заметнее, особенно в vision-задачах.
Это разбор
Самостоятельный разбор новости. Оригинал на prismml.com — по ссылке ниже.
Источники
- Оригинал: prismml.com — © prismml.com