Ollaya: локальное выполнение моделей для принятия решений

Что произошло

Ollaya — это инструмент, который позволяет запускать модели для принятия решений локально на вашем оборудовании. Это означает, что вы можете задавать вопросы по тексту или JSON и получать ответы в миллисекундах, не отправляя данные в облако. Ollaya поддерживает различные модели, такие как laya и decider, которые отличаются скоростью и точностью.

Детали

Ollaya работает на вашем компьютере с использованием ONNX Runtime, что позволяет запускать модели как на CPU, так и на NVIDIA GPU. Например, запрос к модели laya на RTX 4090 занимает всего 8–10 мс. Ollaya совместим с API TypeSafe, что позволяет использовать его с существующими инструментами без изменений.

Модели, доступные в Ollaya, включают:

• laya: самая быстрая модель с поддержкой более 100 языков.
• decider: самая точная модель для принятия решений.
• qwen3guard: модель для проверки безопасности текста.

Все модели имеют открытые веса, что обеспечивает прозрачность и контроль над данными.

Почему это важно

Ollaya предлагает приватность и скорость, что особенно важно для работы с чувствительными данными, такими как билеты, письма и сообщения пользователей. Локальное выполнение исключает риск утечки данных и снижает затраты на использование облачных сервисов.

Что дальше

Ollaya продолжает развиваться, и в будущем планируется добавление новых моделей и улучшение совместимости с различными платформами. Следите за обновлениями на GitHub и Hugging Face.

"Ollaya позволяет принимать решения локально, обеспечивая приватность и скорость."