Вход на сайт
Яндекс?
325
NEW 11.01.13 14:47
a как приучить пореже?
Контент практически не обновляется, да и не оссобенно мне этот яндекс нужен, поэтому и без зазрения совести его забанил. Я согласен на его посещение раз в день, но не каждый час.
Контент практически не обновляется, да и не оссобенно мне этот яндекс нужен, поэтому и без зазрения совести его забанил. Я согласен на его посещение раз в день, но не каждый час.
NEW 11.01.13 19:43
а ты чего собственно добиваешься? заблокировав адрес бота ты совсем ему кислород перекрыл, а так будет заходить иногда, смотреть на robots.txt на случай если ты передумаешь когда-нибудь...
если че, можещь юзать параметр Crawl delay.
если че, можещь юзать параметр Crawl delay.
В ответ на:
Позволяет указать индексирующему роботу минимальный промежуток времени (в секундах) между обращениями к страницам сайта. Этот параметр полезен для крупных проектов, содержащих десятки тысяч страниц и более. Поисковый робот Яндекса при индексировании может создать на такой сайт большую нагрузку, что может вызвать перебои и задержки в работе сайта, поэтому, возможно, вам следует ограничить количество обращений в секунду. Например, директива Crawl-delay: 2 укажет роботу, что он должен выжидать 2 секунды между обращениями к серверу.
Позволяет указать индексирующему роботу минимальный промежуток времени (в секундах) между обращениями к страницам сайта. Этот параметр полезен для крупных проектов, содержащих десятки тысяч страниц и более. Поисковый робот Яндекса при индексировании может создать на такой сайт большую нагрузку, что может вызвать перебои и задержки в работе сайта, поэтому, возможно, вам следует ограничить количество обращений в секунду. Например, директива Crawl-delay: 2 укажет роботу, что он должен выжидать 2 секунды между обращениями к серверу.
Продвижение сайтов, реклама: https://www.pro33.net
NEW 11.01.13 20:11
NEW 12.01.13 17:47
в ответ project33 11.01.13 18:13
robots.txt это рекомендация для поискового бота - можно ли индексировать директорию файлы и т.д. "пастись" на сервере он все равно будет
Закрывать доступ к сайту для ненужных ботов для снижения нагрузки на сервер лучше через .htacess если стоит apache
У тебя скорее всего "веселятся" вот эти два YandexMedia и YandexImagesк
Закрыть можно по этому принципу
RewriteCond %{HTTP_USER_AGENT} .*YandexMedia.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} .*YandexImagesк.* [NC,OR]
RewriteRule .* - [F,L]
P.S могу накосячить с кодом надо проверят на сервисах гугла правильность кода и проконтролировать по логам.
P.S.S у меня апача нет стоит nginx там запрет по правилам:
if ( $http_user_agent ~* (Googlebot|bingbot|AhrefsBot) ){
return 404;
}
Закрывать доступ к сайту для ненужных ботов для снижения нагрузки на сервер лучше через .htacess если стоит apache
У тебя скорее всего "веселятся" вот эти два YandexMedia и YandexImagesк
Закрыть можно по этому принципу
RewriteCond %{HTTP_USER_AGENT} .*YandexMedia.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} .*YandexImagesк.* [NC,OR]
RewriteRule .* - [F,L]
P.S могу накосячить с кодом надо проверят на сервисах гугла правильность кода и проконтролировать по логам.
P.S.S у меня апача нет стоит nginx там запрет по правилам:
if ( $http_user_agent ~* (Googlebot|bingbot|AhrefsBot) ){
return 404;
}
VPN сервис без логов - Ваша анонимность в сети!
NEW 12.01.13 19:50
в ответ ant_01 12.01.13 17:47
YandexMedia , YandexImagesк
Спасибо. прописал в .htaccess, посмотрим что будет.
...
Я обратил внимание на этого янндекс-паука, по одной причине, он постоянно перенаправлялся на старницу "Ваш броузер не поддерживает куки, включите". Tакой сканер, не только мне, он никому не нужен
Спасибо. прописал в .htaccess, посмотрим что будет.
...
Я обратил внимание на этого янндекс-паука, по одной причине, он постоянно перенаправлялся на старницу "Ваш броузер не поддерживает куки, включите". Tакой сканер, не только мне, он никому не нужен