Anubis: защита сайтов от агрессивного скрапинга ИИ

Что произошло

Скрапинг сайтов компаниями ИИ стал настоящей проблемой для владельцев веб-ресурсов. Массовый сбор данных приводит к перегрузке серверов и делает сайты недоступными для обычных пользователей. Чтобы решить эту проблему, разработчики создали систему Anubis, которая использует Proof-of-Work для защиты от скрапинга.

Детали

Anubis работает по принципу Proof-of-Work, аналогичному Hashcash, который ранее использовался для борьбы со спамом в электронной почте. Система требует от пользователя выполнить вычислительную задачу перед доступом к контенту. Для обычного пользователя это незаметно, но для массовых скраперов такие задачи становятся дорогостоящими и невыгодными.

Anubis использует современные функции JavaScript, которые могут быть отключены плагинами вроде JShelter. Для корректной работы системы необходимо отключить такие плагины.

«Anubis — это компромисс, временное решение, пока разрабатываются более точные методы идентификации headless-браузеров».

Почему это важно

Массовый скрапинг данных компаниями ИИ не только перегружает серверы, но и ставит под угрозу доступность ресурсов для обычных пользователей. Anubis помогает снизить нагрузку на серверы и делает скрапинг менее привлекательным для компаний, занимающихся сбором данных.

Что дальше

Anubis — это временное решение. Разработчики работают над более точными методами идентификации headless-браузеров, чтобы исключить необходимость использования Proof-of-Work для обычных пользователей. В будущем это позволит сделать защиту ещё более эффективной и незаметной для легитимных посетителей.