Технический сбой

Сайт временно работает в режиме только для чтения, идут восстановительные работы. Приносим свои извинения за неудобства.

DLE FAQ » Все вопросы » Общие вопросы » У меня парсят уникальный текст, как заблочить их сайт, чтобы не смогли парсить?

У меня парсят уникальный текст, как заблочить их сайт, чтобы не смогли парсить?

Missis-masjas Все вопросы » Общие вопросы 2352

вопрос

Здравствуйте!

У меня парсят уникальный текст, как заблочить их сайт, чтобы не смогли парсить? На уровне сервера заблокировать IP сайта?

Ответил: Silva

Заблокируйте в DLE ip сайта, с которого парсят. обычно помагает.

2 комментария

Юзер

307

rocksmart - - #34563

А с чего ты взял что с сайта. Можно и с локалки парсить

Юзер

307

rocksmart - - #34566

Кстати можно так попробовать:
Определяем если зашел бот то отдаем текст , если нет то не много меняем текст

Вот пример скрипта

Показать / Скрыть текст

<?php

$text = '<!--dle_image_begin:http://dle1022.ura/uploads/posts/2014-07/1404734130_ui-icons_h.png|--><img src="/uploads/posts/2014-07/1404734130_ui-icons_h.png" alt="Добро пожаловать" title="Добро пожаловать" /><!--dle_image_end-->
<div style="text-align: center;"> Движок предназначен в первую очередь для создание новостных блогов и сайтов с большим информационным контекстом. Однако он имеет большое количество настроек, которые позволяют использовать его практически для любых целей. Движок может быть интегрирован практически в любой существующий дизайн, и не имеет никаких ограничений по созданию шаблонов для него. Еще одной ключевой особенностью <a href="http://dle1022.ura/information/" target="_blank" data-field="bmw">DataLife</a> Engine является низкая нагрузка на системные ресурсы, Даже при очень большой аудитории сайта нагрузка не сервер будет минимальной, и вы не будете испытывать каких-либо проблем с отображением и<a href="http://dle1022.ura/cetegory/vpyvpyvp/vrver/" data-field="ывыв" data-url="true">нформации</a>. Движок оптимизирован под поисковые </div>
<p> </p>
<!--TBegin:http://dle1022.ura/uploads/posts/2014-07/1404734809_brands.png|--><a href="http://dle1022.ura/uploads/posts/2014-07/1404734809_brands.png" rel="highslide" class="highslide"><img src="/uploads/posts/2014-07/thumbs/1404734809_brands.png" alt="Добро пожаловать" title="Добро пожаловать"  /></a><!--TEnd-->

Доп.поле:<a href="http://dle1022.ura/xfsearch/1950/">1950</a><br>
Доп.поле:<br>
<div class="clr"></div>
<hr><div data-id="1" id="lastcomm-1"></div>';

function isBot(&$botname = ''){
$bots = array( 'adsbot-google','aport catalog robot','aport','aportcatalogrobot/2.0','archive_org','ask jeeves','autoluba/1.0','baiduspider+','begun robot','blogpulse','booch','cazoodlebot/','crawler','feedburner/','feedfetcher-google','feedvalidator','getsmart','gigablast','gigabot/','google desktop','googlebot','googlebot-image/','grub-client','ia_archiver','igdespyder','jetbot','libwww','libwww-perl/','liveinternet spider','lycos','mail.ru','mediapartners-google','mj12bot/','mlbot','mnogosearch','msnbot/','msnbot-media/','msnbot-newsblogs/','msnbot-webmaster/','naverbot','obot','oozbot/','openbot','psbot/','rambler','scooter/','slurp@inktomi','speedy spider','stackrambler','turnitinbot','turtlescanner','twiceler-0.9','vadixbot','validome xml-validator','vampire','w3 sitesearch crawler','w3c_css_validator_jfouffa/','w3c_validator/','w3c-checklink/','webalta crawler/','webcrawler','web-sniffer/','webzip','whatuseek','www.cys.ru','xml sitemaps generator','yadirectbot/','yahoo! slurp','yahoo!','yahoofeedseeker/','yahoo-mmcrawler/','yandex','yandexblog/','yanga worldsearch bot','zipppbot' );

foreach($bots as $bot)
    if(stripos($_SERVER['HTTP_USER_AGENT'], $bot) !== false) {
        $botname = $bot;
        return true;
    }
    return false;
}

$nocopy = array(
'А'=>'&#1040;',
'а'=>'&#1072;',
'Б'=>'&#1041;',
'б'=>'&#1073;',
'В'=>'&#1042;',
'в'=>'&#1074;',
'Г'=>'&#1043;',
'г'=>'&#1075;',
'Д'=>'&#1044;',
'д'=>'&#1076;',
'Е'=>'&#1045;',
'е'=>'&#1077;',
'Ё'=>'&#1025;',
'ё'=>'&#1105;',
'Ж'=>'&#1046;',
'ж'=>'&#1078;',
'З'=>'&#1047;',
'з'=>'&#1079;',
'И'=>'&#1048;',
'и'=>'&#1080;',
'Й'=>'&#1049;',
'й'=>'&#1081;',
'К'=>'&#1050;',
'к'=>'&#1082;',
'Л'=>'&#1051;',
'л'=>'&#1083;',
'М'=>'&#1052;',
'м'=>'&#1084;',
'Н'=>'&#1053;',
'н'=>'&#1085;',
'О'=>'&#1054;',
'о'=>'&#1086;',
'П'=>'&#1055;',
'п'=>'&#1087;',
'Р'=>'&#1056;',
'р'=>'&#1088;',
'С'=>'&#1057;',
'с'=>'&#1089;',
'Т'=>'&#1058;',
'т'=>'&#1090;',
'У'=>'&#1059;',
'у'=>'&#1091;',
'Ф'=>'&#1060;',
'ф'=>'&#1092;', 
'Х'=>'&#1061;',
'х'=>'&#1093;',
'Ц'=>'&#1062;',
'ц'=>'&#1094;',
'Ч'=>'&#1063;',
'ч'=>'&#1095;',
'Ш'=>'&#1064;',
'ш'=>'&#1096;',
'Щ'=>'&#1065;',
'щ'=>'&#1097;',
'Ъ'=>'&#1066;',
'ъ'=>'&#1098;',
'Ы'=>'&#1067;',
'ы'=>'&#1099;',
'Ь'=>'&#1068;',
'ь'=>'&#1100;',
'Э'=>'&#1069;',
'э'=>'&#1101;',
'Ю'=>'&#1070;',
'ю'=>'&#1102;',
'Я'=>'&#1071;',
'я'=>'&#1103;',
' ' => '&#160;'); //'&nbsp;','&#160;','&#xA0;' ansi пробел

$rand_keys = array_rand($nocopy, 2);

if( !isBot() ) {
    $text = str_replace(array($rand_keys[0], $rand_keys[1]), array($nocopy[$rand_keys[0]], $nocopy[$rand_keys[1]]), $text);
}

echo $text;

?>

Puxlik | Telegram Sender ¹³

Puxlik
Telegram Sender

Версию 17.1 поддерживает ?
TeraMoune | Не загружается изображение [Ошибка HTTP] ... ²

TeraMoune
Не загружается изображение [Ошибка HTTP]. Как исправить?

В этой версии есть фрагментация загрузки файла когда загружаемый файл разделяется на фрагменты, по умолчанию 1 фрагмент 1.5мб. (И у вас написано лимиты на файл 4мб и картинки 5.86мб, этого достаточно чтобы принимать 1.5мб фрагменты) И если бы была проблема с весом или чем-то подобным то об этом бы сервер сообщил. Сервер отдал 500 ошибку это значит что угодно, нужно смотреть ответ от сервера в консоли разработчика или логах.
RedFox | Не загружается изображение [Ошибка HTTP] ... ²

RedFox
Не загружается изображение [Ошибка HTTP]. Как исправить?

"Некоторые картинки загружаются, но большинство нет."

Сначала не обратил внимания, но видимо проблема в этом. Все, что больше 100Кб, не загружается. Что странно, поскольку в php у меня следующие значения:
post_max_size = 100M
upload_max_filesize = 100M
max_file_uploads = 20

Полагаю, где-то еще надо увеличить размер загружаемой картинки, но где?
LMakc | Модуль читалка pdf ¹

LMakc
Модуль читалка pdf

Не начинай, я заплатил сегодня штраф за підручники. Сейчас очень сложно с этим.
ssssss | Сделать подсчет количества символов в ко ... ⁵

ssssss
Сделать подсчет количества символов в комментариях

Есть актуальный плагин под 17 версию? (только количество символов! без наворотов... записей куда-либо и т.п.) *ББ-редактор
alex.sg.spb | Как вывести информацию о обновлении ново ... ⁸

alex.sg.spb
Как вывести информацию о обновлении новости, но на время?

вопрос, в продолжение поста. Помогите с кодом вывода инфо UPDATE на краткой новости, так чтобы не нужно было нажимать внутри новости при редактировании галочку?
Kentavr | Как вместо %20 в адресной строке подстав ... ⁹

Kentavr
Как вместо %20 в адресной строке подставлять символ + между словами ???

Спасибо огромное. Этот вариант самый простой и рабочий!

derebas | Как вместо %20 в адресной строке подстав ... ⁹

derebas
Как вместо %20 в адресной строке подставлять символ + между словами ???

К черту htaccess давайте проще

к href добавьте id="xfield_value"

<a href="/company/[xfvalue_company]/" id="xfield_value">[xfvalue_company]</a>

И добавьте скрипт обработчик

<script>
document.addEventListener('DOMContentLoaded', function() {
    const links = document.querySelectorAll('a#xfield_value');

    links.forEach(link => {
      let href = link.getAttribute('href');

      if (href) {
        href = href.replace(/ /g, '+');
        link.setAttribute('href', href);
      }
    });
  });
</script>

Kentavr | Как вместо %20 в адресной строке подстав ... ⁹

Kentavr
Как вместо %20 в адресной строке подставлять символ + между словами ???

Так сайт не работает вообще. Браузер выдает такое

Страница недоступна Сайт ... выполнил переадресацию слишком много раз.
Попробуйте удалить файлы cookie.

ERR_TOO_MANY_REDIRECTS

Куки чистил не помогает
derebas | Как вместо %20 в адресной строке подстав ... ⁹

derebas
Как вместо %20 в адресной строке подставлять символ + между словами ???

Попробуйте так
RewriteEngine On
RewriteCond %{REQUEST_URI} %20
RewriteRule (.*)%20(.*) $1+$2 [N]
RewriteRule (.*) $1 [R=301,L]

наверх

Технический сбой

У меня парсят уникальный текст, как заблочить их сайт, чтобы не смогли парсить?

Ответил: Silva

2 комментария

Похожие вопросы

Голосование с отображением ответов для администратора,

Как заблокировать доступ к сайту с определенной страны?

Где находится запись "Вы не можете скачивать файлы с нашего сервера"

Плеер vk video

Несколько вопросов

Взлом сайта через регистрацию - Как избежать?

[Вирусы] где могут вставить моб редирект на сайте?

Ваш сайт подвержен взлому!

Где купить такой парсер?

Почему у всех пользователей IP сервера (сайта) ?