Needle 2: компактная модель ИИ для устройств

Что произошло

Cactus представил Needle 2 — новую версию своей компактной модели ИИ, которая занимает всего 14 МБ и предназначена для работы на устройствах с ограниченными ресурсами. Модель оптимизирована для задач управления устройствами, таких как умный дом, носимые гаджеты и роботы, а также для обработки структурированных данных.

Детали

Needle 2 работает на устройствах с минимальными требованиями к памяти — всего 28 МБ оперативной памяти. Это позволяет ей функционировать на микроконтроллерах, таких как ESP32-S3, и бюджетных смартфонах. Модель использует 2-битное квантование (CQ2-bit), что значительно уменьшает её размер без потери производительности.

Скорость обработки достигает 500 токенов в секунду на Raspberry Pi 5 и варьируется от 300 до 700 токенов на бюджетных смартфонах. Needle 2 также поддерживает многозадачность, например, управление умным домом или извлечение данных из документов.

Почему это важно

Needle 2 открывает новые возможности для внедрения ИИ в устройства с ограниченными ресурсами. Это особенно актуально для рынка IoT, где большинство устройств стоят меньше $200. Модель позволяет создавать автономные решения, не зависящие от облачных сервисов, что повышает приватность и снижает задержки.

Что дальше

Cactus планирует продолжить развитие Needle, добавляя поддержку новых устройств и оптимизируя производительность. Модель уже доступна на Hugging Face под лицензией Apache 2.0, что делает её доступной для широкого круга разработчиков.

«Needle 2 — это шаг к тому, чтобы ИИ стал доступен на любом устройстве, независимо от его мощности», — отмечают разработчики.

Needle 2 демонстрирует, что даже компактные модели могут быть эффективными в задачах управления устройствами и обработки данных, открывая новые горизонты для разработчиков и пользователей.