MultiMatte: точное выделение объектов с помощью текстовых подсказок

Что произошло

Команда Feyn Labs представила MultiMatte — модель для удаления фона, которая позволяет выделять объекты с помощью текстовых подсказок. В отличие от традиционных методов сегментации, MultiMatte использует альфа-маски для более точного выделения сложных объектов, таких как волосы или прозрачные элементы.

Детали

MultiMatte построена на основе SAM 3, но была доработана с использованием низкоранговой тонкой настройки (LoRA). Это позволило изменить только 19,49 млн из 860 млн параметров модели, что составляет всего 2,27% от общего числа. Несмотря на это, MultiMatte значительно улучшила качество сегментации. Например, на тестовом наборе DIS-VD модель достигла показателя S-measure 0,901 против 0,667 у SAM 3.

MultiMatte использует альфа-маски вместо бинарных масок, что позволяет более точно описывать границы объектов. Это особенно полезно для работы с прозрачными или сложными элементами, такими как волосы или размытые экраны.

Почему это важно

MultiMatte делает процесс удаления фона более гибким и точным. Теперь можно выделить конкретный объект на изображении, просто указав его текстовой подсказкой. Это открывает новые возможности для дизайнеров, фотографов и разработчиков, которые работают с обработкой изображений.

Что дальше

MultiMatte демонстрирует, как текстовые подсказки могут улучшить работу с изображениями. В будущем мы можем ожидать появления ещё более мощных инструментов, которые будут сочетать возможности языковых моделей и компьютерного зрения.