Hugging Face запускает 200+ WebGPU-ядер для локального ИИ

Что произошло

Hugging Face выпустила библиотеку @huggingface/kernels, содержащую 207 оптимизированных WebGPU-ядер. Эти ядра предназначены для ускорения выполнения моделей машинного обучения непосредственно в браузере. Библиотека доступна на платформе Hugging Face Hub и включает инструменты для тестирования и бенчмаркинга.

Детали

Каждое ядро в библиотеке представляет собой отдельный репозиторий, содержащий манифест, тесты на корректность, бенчмарки и шаблоны WGSL-шейдеров. Это позволяет разработчикам легко интегрировать ядра в свои приложения и проверять их производительность на различных устройствах.

Библиотека также включает Fleet — инструмент для бенчмаркинга, который собирает данные о производительности ядер на реальных устройствах. Это помогает улучшать ядра и их варианты для разных конфигураций оборудования.

«Каждое ядро публикуется как полный, версионированный пакет: его интерфейс, шаблоны шейдеров, тесты и инструкции по использованию находятся вместе на Hub».

Почему это важно

WebGPU становится ключевой технологией для выполнения моделей ИИ в браузере. Однако производительность таких моделей сильно зависит от оптимизации отдельных операций, таких как матричные умножения, нормализация и свертки. Библиотека @huggingface/kernels предоставляет оптимизированные реализации этих операций, что позволяет значительно ускорить выполнение моделей.

Что дальше

Hugging Face планирует расширять коллекцию ядер и интегрировать их с другими инструментами для работы с моделями ИИ. Это позволит сделать локальное выполнение моделей в браузере ещё более эффективным и доступным для широкого круга разработчиков.