Как бороться с парсингом сайта?

Сайт, как инструмент для заработка в Интернете. Все о создании и продвижении сайтов. Заработок на собственном сайте, способы повышения доходов от сайта.
Аватара пользователя
fingeniy
Администратор
Сообщения: 3193
Зарегистрирован: 15 июн 2014, 14:09
Откуда: Крым
Благодарил (а): 58 раз
Поблагодарили: 227 раз
Контактная информация:

Как бороться с парсингом сайта?

Сообщение fingeniy »

Недавно обнаружил, что у меня не только воруют контент (что обсуждается в отдельной теме kak-borotsya-s-vorovstvom-kontenta-na-sayte-t813.html), но и копируют мой сайт на другие доменные имена, используя парсинг.

В этой теме предлагаю обсуждать, как бороться с парсингом сайта.

Прежде всего, как обнаружить парсинг? Я заметил это в аналитических отчетах "Страницы входа". Помимо 99,99% посещений на мои оригинальные страницы, увидел единичные заходы через страницы других доменных имен, возле которых светилась моя иконка фавикон. Таких страниц было 2. Заходов с них за месяц - с одной 2, с другой - 16.

Перешел на эти URL. Один из них - вообще не открылся, а на втором обнаружил точную копию своего сайта. Все внутренние ссылки были заменены на другое доменное имя, не было рекламы Гугла и Яндекса, была реклама другой рекламной сети и прямых рекламодателей (моя же), не было форума, стояли другие счетчики статистики. Посещаемость этого сайта, согласно счетчикам, была нулевая.

Далее я обратил внимание, что почти сразу же после обновления информации у меня на сайте - она обновляется и на сайте-копии.

В общем, я столкнулся с парсингом. Что делать?

В первую очередь - определил, кому принадлежит указанный домен через сервис whois.com. Имя владельца было скрыто, но был указан регистратор домена.

Я написал письмо регистратору, с просьбой заблокировать доменное имя за парсинг и нарушение авторских прав, на что получил традиционный ответ, что они могут сделать это только по решению суда и запросу правоохранительных органов (как было и в случае с воровством контента). Но главное, что и нужно было - они указали в ответе хостинг-провайдера сайта, и рекомендовали обратиться к нему.

У всех провайдеров, что я встречал, в правилах использования хостинга указано, что запрещено. Среди таких запретов есть и парсинг, и нарушение авторских прав, и нарушение законодательства, и много чего еще - на это следует ссылаться при написании жалобы (клиент нарушает Ваши же правила).

Я написал жалобу провайдеру, для этого мне пришлось зарегистрироваться у них на сайте, они открыли тикет по жалобе и перенаправили ее в другой отдел для рассмотрения. Окончательного ответа я еще не получил, но где-то спустя полдня после обращения копия моего сайта исчезла с этого домена, сейчас там пусто, только остался мой фавикон.

В общем, в данном случае борьба с парсингом была быстрой и эффективной.

Пока я этим занимался, готовился и к худшему: если бы провайдер дал такой же ответ, как и регистратор, нужно было бы действовать как-то еще. Я успел узнать, что во-первых, можно попробовать отследить парсера через логи обращения к сайту (предоставляются провайдером) и заблокировать доступ по этому IP. При сменах IP - каждый раз снова блокировать. Во-вторых, можно поставить ограничение на количество обращений, после которых будет требоваться ввести капчу - это существенно затруднит парсинг и может сделать его нецелесообразным.

Также, чтобы защитить сайт от парсинга рекомендуют изначально отключить feed-ленту. К слову, у меня она была отключена, но это не помешало парсить сайт.

Прошу делиться своими мыслями о том, как бороться с парсингом сайта, ну и опытом, конечно же, если таковой был.

Аватара пользователя
Gabriella
Сообщения: 126
Зарегистрирован: 12 авг 2018, 07:48
Поблагодарили: 14 раз

Re: Как бороться с парсингом сайта?

Сообщение Gabriella »

У меня тоже был похожий случай, юкозовский сайт спарсил около 40% моего сайта, подала жалобу на хостинг, рассматривали примерно две недели, в итоге удалили полностью мои статьи. Интересно, а гугл Ваш сайт не понизил в выдаче после воровства контента?
Аватара пользователя
fingeniy
Администратор
Сообщения: 3193
Зарегистрирован: 15 июн 2014, 14:09
Откуда: Крым
Благодарил (а): 58 раз
Поблагодарили: 227 раз
Контактная информация:

Re: Как бороться с парсингом сайта?

Сообщение fingeniy »

Gabriella писал(а):Интересно, а гугл Ваш сайт не понизил в выдаче после воровства контента?
У меня воруют часто (при том, что стоит автоматическая защита от копирования - контекстное меню не работает), но заметных понижений позиций от этого не наблюдал. Особенно в Гугле - там вообще все стабильно. Это Яндекс туда-сюда прыгает постоянно, по одному ему известным причинам :-)
Аватара пользователя
Gabriella
Сообщения: 126
Зарегистрирован: 12 авг 2018, 07:48
Поблагодарили: 14 раз

Re: Как бороться с парсингом сайта?

Сообщение Gabriella »

А вот мой сайт попал под фильтр в гугл и уже больше года старый контент ранжируется плохо, позиции имеют только новые статьи.
Аватара пользователя
Shmuel
Сообщения: 94
Зарегистрирован: 26 апр 2021, 19:54
Благодарил (а): 62 раза
Поблагодарили: 16 раз

Re: Как бороться с парсингом сайта?

Сообщение Shmuel »

Нет такого сайта, чтобы его нельзя было распарсить. Бороться можно только с публичной публикацией, когда явно известно о нарушении прав авторов. Обращениями к хостингам, поисковым сайтам, и подачи исков в суд. Для судебного иска ещё нужно обнаружить реального нарушителя. Да, он платил деньги за хостинг, но может быть не всё так просто, как хотелось бы.
Аватара пользователя
Xannerot
Сообщения: 9
Зарегистрирован: 31 окт 2021, 23:17
Поблагодарили: 1 раз
Контактная информация:

Re: Как бороться с парсингом сайта?

Сообщение Xannerot »

Воровство контента теперь очень распространено, тяжело с этим бороться на самом деле.
Ответить

Вернуться в «Сайтостроение»