Вход на сайт
Яндекс?
325 просмотров
Перейти к просмотру всей ветки
в ответ project33 11.01.13 18:13
robots.txt это рекомендация для поискового бота - можно ли индексировать директорию файлы и т.д. "пастись" на сервере он все равно будет
Закрывать доступ к сайту для ненужных ботов для снижения нагрузки на сервер лучше через .htacess если стоит apache
У тебя скорее всего "веселятся" вот эти два YandexMedia и YandexImagesк
Закрыть можно по этому принципу
RewriteCond %{HTTP_USER_AGENT} .*YandexMedia.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} .*YandexImagesк.* [NC,OR]
RewriteRule .* - [F,L]
P.S могу накосячить с кодом надо проверят на сервисах гугла правильность кода и проконтролировать по логам.
P.S.S у меня апача нет стоит nginx там запрет по правилам:
if ( $http_user_agent ~* (Googlebot|bingbot|AhrefsBot) ){
return 404;
}
Закрывать доступ к сайту для ненужных ботов для снижения нагрузки на сервер лучше через .htacess если стоит apache
У тебя скорее всего "веселятся" вот эти два YandexMedia и YandexImagesк
Закрыть можно по этому принципу
RewriteCond %{HTTP_USER_AGENT} .*YandexMedia.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} .*YandexImagesк.* [NC,OR]
RewriteRule .* - [F,L]
P.S могу накосячить с кодом надо проверят на сервисах гугла правильность кода и проконтролировать по логам.
P.S.S у меня апача нет стоит nginx там запрет по правилам:
if ( $http_user_agent ~* (Googlebot|bingbot|AhrefsBot) ){
return 404;
}
VPN сервис без логов - Ваша анонимность в сети!