Shieldstral: новый подход к модерации контента

Что произошло

Mistral AI представила Shieldstral — новую модель для модерации контента, которая отличается от традиционных подходов. Вместо фиксированных категорий вреда модель позволяет задавать политики модерации в виде простых вопросов на естественном языке. Это делает её гибкой и адаптируемой к разным контекстам.

Детали

Shieldstral работает как бинарный классификатор, отвечая на вопросы типа «Продвигает ли этот контент насилие?» или «Безопасно ли это изображение для детей?». Модель возвращает не просто категорию, а калиброванный показатель безопасности от 0 до 1. Это позволяет использовать её для ранжирования или установления пороговых значений.

Модель обучалась на разнородных данных, включая реальные и синтетические примеры. Она объединяет три чекпоинта: базовую модель, модель с калибровкой на публичных данных и модель с тонкой настройкой на сгенерированных данных. Это позволяет ей эффективно работать с новыми политиками без переобучения.

«Один и тот же контент может быть безопасен для инструмента кибербезопасности, но вреден для платформы психического здоровья».

Почему это важно

Традиционные модели модерации требуют переобучения для каждой новой политики, что делает их дорогими и медленными. Shieldstral решает эту проблему, позволяя задавать политики на лету. Это особенно полезно для продуктов, которые работают в разных контекстах или с разными аудиториями.

Модель также эффективна с точки зрения ресурсов: она работает на одном GPU с 16 ГБ памяти, что делает её доступной для небольших команд и стартапов.

Что дальше

Mistral AI планирует улучшить Shieldstral, добавив поддержку большего количества языков, улучшив обработку длинных документов и расширив функциональность для работы с мультимодальным контентом. Открытые веса модели позволяют сообществу экспериментировать и улучшать её.