DeepGEMM: библиотека для оптимизации вычислений на GPU

Что произошло

DeepGEMM — это библиотека, которая объединяет ключевые вычислительные примитивы для современных языковых моделей в единый код на CUDA. Она оптимизирована для работы с тензорными ядрами на GPU NVIDIA и включает поддержку операций GEMM (FP8, FP4, BF16), Mega MoE, MQA и других. Библиотека компилирует ядра на лету через DeepJIT, что делает её установку простой и быстрой.

Детали

DeepGEMM поддерживает несколько ключевых функций:

• GEMM (General Matrix Multiply): Операции умножения матриц с поддержкой различных форматов данных (FP8, FP4, BF16).
• Mega MoE (Mixture of Experts): Оптимизированные ядра для работы с моделями, использующими смесь экспертов, включая слияние и перекрытие вычислений.
• MQA (Multi-Query Attention): Ядра для работы с вниманием в языковых моделях, включая поддержку индексации.

«DeepGEMM's performance matches or exceeds expert-tuned libraries across various matrix shapes.»

Библиотека поддерживает архитектуры GPU NVIDIA SM90 и SM100, а также требует CUDA Toolkit версии 12.9 или выше. Все ядра компилируются на лету через DeepJIT, что исключает необходимость компиляции CUDA во время установки.

Почему это важно

DeepGEMM упрощает работу с GPU для разработчиков, работающих с языковыми моделями. Она предоставляет оптимизированные ядра для ключевых операций, что позволяет достичь высокой производительности без необходимости глубокой настройки. Это особенно полезно для тех, кто разрабатывает или использует модели с интенсивными вычислениями, такие как GPT или другие LLM.

Что дальше

DeepGEMM продолжает развиваться, добавляя поддержку новых архитектур и оптимизаций. В будущем можно ожидать ещё большего упрощения работы с GPU и повышения производительности для современных языковых моделей. Следите за обновлениями библиотеки и её интеграцией в популярные фреймворки, такие как PyTorch.