Недавно обнаружил, что у меня не только воруют контент (что обсуждается в отдельной теме kak-borotsya-s-vorovstvom-kontenta-na-sayte-t813.html), но и копируют мой сайт на другие доменные имена, используя парсинг.
В этой теме предлагаю обсуждать, как бороться с парсингом сайта.
Прежде всего, как обнаружить парсинг? Я заметил это в аналитических отчетах "Страницы входа". Помимо 99,99% посещений на мои оригинальные страницы, увидел единичные заходы через страницы других доменных имен, возле которых светилась моя иконка фавикон. Таких страниц было 2. Заходов с них за месяц - с одной 2, с другой - 16.
Перешел на эти URL. Один из них - вообще не открылся, а на втором обнаружил точную копию своего сайта. Все внутренние ссылки были заменены на другое доменное имя, не было рекламы Гугла и Яндекса, была реклама другой рекламной сети и прямых рекламодателей (моя же), не было форума, стояли другие счетчики статистики. Посещаемость этого сайта, согласно счетчикам, была нулевая.
Далее я обратил внимание, что почти сразу же после обновления информации у меня на сайте - она обновляется и на сайте-копии.
В общем, я столкнулся с парсингом. Что делать?
В первую очередь - определил, кому принадлежит указанный домен через сервис whois.com. Имя владельца было скрыто, но был указан регистратор домена.
Я написал письмо регистратору, с просьбой заблокировать доменное имя за парсинг и нарушение авторских прав, на что получил традиционный ответ, что они могут сделать это только по решению суда и запросу правоохранительных органов (как было и в случае с воровством контента). Но главное, что и нужно было - они указали в ответе хостинг-провайдера сайта, и рекомендовали обратиться к нему.
У всех провайдеров, что я встречал, в правилах использования хостинга указано, что запрещено. Среди таких запретов есть и парсинг, и нарушение авторских прав, и нарушение законодательства, и много чего еще - на это следует ссылаться при написании жалобы (клиент нарушает Ваши же правила).
Я написал жалобу провайдеру, для этого мне пришлось зарегистрироваться у них на сайте, они открыли тикет по жалобе и перенаправили ее в другой отдел для рассмотрения. Окончательного ответа я еще не получил, но где-то спустя полдня после обращения копия моего сайта исчезла с этого домена, сейчас там пусто, только остался мой фавикон.
В общем, в данном случае борьба с парсингом была быстрой и эффективной.
Пока я этим занимался, готовился и к худшему: если бы провайдер дал такой же ответ, как и регистратор, нужно было бы действовать как-то еще. Я успел узнать, что во-первых, можно попробовать отследить парсера через логи обращения к сайту (предоставляются провайдером) и заблокировать доступ по этому IP. При сменах IP - каждый раз снова блокировать. Во-вторых, можно поставить ограничение на количество обращений, после которых будет требоваться ввести капчу - это существенно затруднит парсинг и может сделать его нецелесообразным.
Также, чтобы защитить сайт от парсинга рекомендуют изначально отключить feed-ленту. К слову, у меня она была отключена, но это не помешало парсить сайт.
Прошу делиться своими мыслями о том, как бороться с парсингом сайта, ну и опытом, конечно же, если таковой был.
Как бороться с парсингом сайта?
Re: Как бороться с парсингом сайта?
У меня тоже был похожий случай, юкозовский сайт спарсил около 40% моего сайта, подала жалобу на хостинг, рассматривали примерно две недели, в итоге удалили полностью мои статьи. Интересно, а гугл Ваш сайт не понизил в выдаче после воровства контента?
- fingeniy
- Администратор
- Сообщения: 3193
- Зарегистрирован: 15 июн 2014, 14:09
- Откуда: Крым
- Благодарил (а): 58 раз
- Поблагодарили: 227 раз
- Контактная информация:
Re: Как бороться с парсингом сайта?
У меня воруют часто (при том, что стоит автоматическая защита от копирования - контекстное меню не работает), но заметных понижений позиций от этого не наблюдал. Особенно в Гугле - там вообще все стабильно. Это Яндекс туда-сюда прыгает постоянно, по одному ему известным причинамGabriella писал(а):Интересно, а гугл Ваш сайт не понизил в выдаче после воровства контента?
Финансовые консультации бесплатно на Финансовом гении.
Re: Как бороться с парсингом сайта?
А вот мой сайт попал под фильтр в гугл и уже больше года старый контент ранжируется плохо, позиции имеют только новые статьи.
- Shmuel
- Сообщения: 94
- Зарегистрирован: 26 апр 2021, 19:54
- Благодарил (а): 62 раза
- Поблагодарили: 16 раз
Re: Как бороться с парсингом сайта?
Нет такого сайта, чтобы его нельзя было распарсить. Бороться можно только с публичной публикацией, когда явно известно о нарушении прав авторов. Обращениями к хостингам, поисковым сайтам, и подачи исков в суд. Для судебного иска ещё нужно обнаружить реального нарушителя. Да, он платил деньги за хостинг, но может быть не всё так просто, как хотелось бы.
- Xannerot
- Сообщения: 9
- Зарегистрирован: 31 окт 2021, 23:17
- Поблагодарили: 1 раз
- Контактная информация:
Re: Как бороться с парсингом сайта?
Воровство контента теперь очень распространено, тяжело с этим бороться на самом деле.