Echo: как открытые модели ИИ экономят деньги

Что произошло

Echo — это эксперимент, который объединяет несколько открытых моделей ИИ, таких как GLM-5.2 и Kimi K2.7, вместо использования одной модели для всех задач. Система динамически решает, какие модели использовать и как распределять ресурсы для каждого запроса. Это позволяет достичь результатов, сопоставимых с Fable, но за значительно меньшую стоимость.

Детали

Echo работает следующим образом: для каждого запроса система определяет, сколько вычислительных ресурсов выделить, какие модели задействовать и как комбинировать их результаты. Например, для простых задач может быть достаточно одной модели, а для сложных — нескольких, работающих над разными аспектами задачи.

«Модель, которая в целом слабее, может быть крайне полезной для конкретных задач или в комбинации с другими моделями».

На текущих тестах Echo показывает результаты, которые превосходят лучшую отдельную модель в её пуле, и достигает уровня Fable при затратах, которые составляют около трети от стоимости использования Fable.

Почему это важно

Echo демонстрирует, что комбинирование открытых моделей может быть эффективным способом снижения затрат на ИИ без потери качества. Это особенно актуально для практиков, которые ищут способы оптимизировать расходы на использование ИИ в своих проектах.

Что дальше

Разработчики Echo планируют расширить тестирование системы на более сложные задачи, такие как программирование и агентные задачи. Также они работают над улучшением интерфейса и API, чтобы сделать систему более удобной для пользователей.

Если вы хотите попробовать Echo, вы можете использовать его через API или чат-интерфейс. Каждый аккаунт получает $10 бесплатных кредитов для тестирования.