Grabette: открытая система для записи данных манипуляций роботов

Что произошло

Hugging Face представила Grabette — открытую систему для записи данных манипуляций, которая позволяет записывать действия человека с помощью ручного захвата и автоматически преобразовывать их в наборы данных для обучения роботов. Основная цель проекта — создать открытую базу данных, доступную для всех, чтобы ускорить развитие робототехники.

Детали

Grabette состоит из двух основных компонентов: ручного захвата (Grabette) и роботизированного захвата (Gripette). Ручной захват оснащён двумя камерами: одна фиксирует контекст действий, а другая — траекторию движения в 6 степенях свободы. Данные записываются на Raspberry Pi и обрабатываются в браузере с помощью Hugging Face Space.

Система полностью открыта: доступны CAD-файлы, ПО для захвата и обработки данных. Grabette работает с любыми методами обучения, поддерживающими формат LeRobot. Пример использования: 200 записей манипуляций были использованы для обучения политики на основе диффузии, которая затем была протестирована на роботизированной руке.

Почему это важно

Основная проблема в обучении роботов — нехватка данных. Grabette решает эту проблему, делая процесс записи данных простым и доступным. Это открывает возможности для создания более разнообразных и масштабных наборов данных, что ускорит развитие робототехники.

Что дальше

Проект продолжает развиваться. В планах — создание Casquette, устройства для записи данных с точки зрения первого лица. Однако главный шаг — это участие сообщества. Каждый может внести свой вклад, записывая манипуляции и делясь данными на Hugging Face Hub.

«Проблема данных не решается одной лабораторией, а сообществом, записывающим демонстрации повсюду.»