Общая категория faq

dj-avtosh, хреновый из вас экстрасенс.

nikolay.safronov,
Попробую.

я уверен, что у него ничего не грабят - тупо проксируют. Но он же не проверив сюда начал строчить.

в логах разве ipv6? Вы че ерундой маетесь? То что у Вас дешевая капля на хецнере, все уже поняли, однако в логах у вас ipv4, зачем Вы лезете в ipv6?

Кстати, а пробовали создать новость и удалить? Следующая новость будет уже со следующим id, а бот будет проверять удаленную новость, получать 404 и думать, что новых новостей нет.

Там ipv6 от hetzner - 2a01:4f8:242:4a5a::2
пробовал забанить в htaccess (Deny from 2a01:4f8:242:4a5a::/64) ? но чет не сработало, все равно в логах есть...
Думал копнуть в сторону fail2ban, попробовать создать правило и банить.

Во первых, мне интересно разобраться как от подобного защищаются. И думаю что он создает лишнюю нагрузку на сервер своими 2-3 запроса в секунду 24/7
А во вторых, вы правы - от этого не спастись в интернете все друг у друга тырят. И он не первый кто это делает.

Поставьте антибота на сайт. Либо перенесите сайт к бегету, они сами смогут включить свою защиту от ботов по запросу (будут также проходить только белые боты, все остальные будут получать 403).

Ловить ботов на невыпущенных новостях всё равно не решение проблемы. Сегодня вас парсят, завтра тупо проксировать начнут весь сайт.

P.S. А IP из разных подсетей у них? Вообще если подсеть принадлежит не интернет-провайдеру, а дата-центру, то блокируйте сразу всю подсеть целиком, живых пользователей там быть не может.

nikolay.safronov,
Отключение чпу не помогает, т.к. обращение идет чрез /index.php?newsid=123456

ну даааа))) так обычно

Как вариант, выключите в настройках «Обрабатывать неверные URL ЧПУ», а sitemap переименуйте и уберите из robots.txt (просто добавьте его в панели гугла и яндекса, а остальным смотреть его не обязательно). Тогда просто по ID не получится проверять новые новости.

Еще посмотрите, вырезает ли парсер ссылки и можно как-то обойти это. Можно закинуть тогда ему на сайт ссылку на казино/вирусы/порно и кинуть абузу в РКН и поисковики. Либо, может можно видео вставить и фотографии)

Еще можете переименовывать постоянно дивы в новостях, чтобы парсер ломался. Рано или поздно чел задолбается его чинить и найдет другой сайт-донор.