SCM: локальный поиск по фото и видео с помощью ИИ на macOS

Что произошло

SCM (Screen Memories) — это новый инструмент для macOS, который позволяет искать фото и видео в локальных папках с использованием глубоких моделей ИИ. В отличие от облачных сервисов, SCM работает полностью офлайн, обеспечивая максимальную приватность. Вы можете искать не только по файлам, но и по конкретным сценам в видео, тексту на изображениях и даже диалогам в видео. Все это происходит локально на вашем Mac.

Детали

SCM использует несколько моделей ИИ для обработки данных:

• CLIP ViT-L/14@336 — основная модель для поиска по сценам в видео.
• SigLIP — быстрая модель для импорта данных.
• Whisper — для поиска по диалогам в видео.
• Tesseract — для распознавания текста на изображениях.

Инструмент поддерживает несколько режимов поиска:

• Файлы — поиск по смыслу изображения.
• Сцены — поиск по конкретным моментам в видео.
• OCR — поиск по тексту на изображениях.
• Диалоги — поиск по произнесенным словам в видео.

SCM также позволяет сохранять запросы в виде вкладок, что упрощает повторный поиск. Все данные хранятся локально, и никакая информация не покидает ваш компьютер.

Почему это важно

SCM предлагает уникальное сочетание удобства и приватности. В отличие от облачных сервисов, где ваши данные могут быть доступны третьим лицам, SCM работает полностью офлайн. Это особенно важно для тех, кто работает с конфиденциальными материалами. Кроме того, инструмент поддерживает поиск по конкретным моментам в видео, что делает его незаменимым для работы с большими архивами фото и видео.

Что дальше

SCM продолжает развиваться, и в будущем можно ожидать добавления новых моделей и функций. Уже сейчас инструмент поддерживает интеграцию с локальными LLM (например, Llama), что открывает новые возможности для поиска и анализа данных. Если вы работаете с большими архивами фото и видео на macOS, SCM — это инструмент, который стоит попробовать.