macOS Harness — инструмент для полного контроля Mac с помощью ИИ

Что произошло

На GitHub появился проект macOS Harness — минималистичный инструмент, позволяющий языковым моделям (LLM) напрямую управлять компьютером на macOS. В отличие от сложных фреймворков, он даёт ИИ всего шесть базовых команд для взаимодействия с системой, а всё остальное модель дописывает сама на Python.

Детали

Инструмент предоставляет ИИ шесть основных примитивов:

• see — просмотр окон приложений (даже фоновых)
• key — эмуляция нажатия клавиш
• type — ввод текста
• click — клики мышью
• ax — доступ к API доступности macOS
• script — выполнение AppleScript

«Ваш агент теперь имеет Mac» — так описывают суть проекта разработчики.

Система работает через один постоянный Python-процесс, который имеет доступ к:

• Скриншотам окон через CGWindow
• Вводу через CGEvent
• API доступности macOS
• Реальному браузеру через Browser Harness
• Файловой системе и командной строке

Почему это важно

1. Универсальность — не нужно создавать отдельные интеграции для каждого приложения. ИИ сам напишет нужный код на Python.

2. Простота — вместо изучения сложных API модель получает понятные примитивы, похожие на действия человека.

3. Реальная автоматизация — можно управлять любыми приложениями, включая нативные, Electron и веб-приложения.

4. Безопасность — система запрашивает разрешения и объясняет, зачем они нужны.

Что дальше

Этот подход может изменить автоматизацию на Mac:

• ИИ сможет выполнять сложные workflows без предварительной настройки
• Появится новый класс «цифровых ассистентов», понимающих интерфейс любой программы
• Разработчикам не придётся создавать отдельные плагины для интеграции с ИИ