Новая модель LFM2.5-2.6B для локальных агентов

Что произошло

LiquidAI представила новую модель LFM2.5-2.6B, предназначенную для запуска локальных агентов на устройствах без необходимости облачных вычислений. Модель поддерживает многозадачность, использование инструментов и работает на устройствах с ограниченными ресурсами, таких как смартфоны и ноутбуки.

Детали

LFM2.5-2.6B была обучена на 34 триллионах токенов и имеет контекстное окно в 128 тысяч токенов. Она прошла несколько этапов обучения, включая тонкую настройку (SFT), специализацию учителей и обучение с подкреплением (RL). Это позволяет модели эффективно работать с различными инструментами и задачами.

Модель демонстрирует высокую скорость работы: 220 токенов в секунду на Apple M5 Max и 113 токенов в секунду на AMD Ryzen CPU. При этом она занимает менее 2.5 ГБ памяти, что делает её идеальной для устройств с ограниченными ресурсами.

Почему это важно

LFM2.5-2.6B открывает новые возможности для разработчиков, позволяя создавать локальные агенты, которые работают без облака. Это особенно важно для приложений, где критична конфиденциальность данных или требуется автономная работа.

«LFM2.5-2.6B позволяет запускать агентов на любом устройстве, сохраняя данные на нём и избегая облачных расходов».

Что дальше

Модель уже доступна на Hugging Face, и разработчики могут начать её использовать для своих проектов. В будущем стоит ожидать появления новых приложений, использующих локальные агенты для решения задач в автономном режиме.