Login
Яндекс?
325
NEW 11.01.13 14:40
in Antwort Валидол 11.01.13 14:05, Zuletzt geändert 11.01.13 14:41 (project33)
частота посещения ботами зависит от частоты обновления информации на сайте. можно приучить бота заходить несколько раз в час при необходимости
Продвижение сайтов, реклама: https://www.pro33.net
NEW 11.01.13 14:47
in Antwort project33 11.01.13 14:40, Zuletzt geändert 11.01.13 15:18 (Валидол)
a как приучить пореже?
Контент практически не обновляется, да и не оссобенно мне этот яндекс нужен, поэтому и без зазрения совести его забанил. Я согласен на его посещение раз в день, но не каждый час.
Контент практически не обновляется, да и не оссобенно мне этот яндекс нужен, поэтому и без зазрения совести его забанил. Я согласен на его посещение раз в день, но не каждый час.
NEW 11.01.13 15:01
in Antwort Валидол 11.01.13 14:47
Вы какой то странный человек.
Люди голову себе сломали, как бы этого бота почаще к себе звать, а Вам 10 посещений в сутки жалко.
Наверное от него нагрузка на сервер охренительная. Сайт падает от Яндекса, не иначе ...
Люди голову себе сломали, как бы этого бота почаще к себе звать, а Вам 10 посещений в сутки жалко.
Наверное от него нагрузка на сервер охренительная. Сайт падает от Яндекса, не иначе ...
вполяне - жизнь в лесу
NEW 11.01.13 15:17
in Antwort helper2008 11.01.13 15:01
Речь идет о вебшопе работающий только на немецкоязычную аудиторию. Русский store там был, но из за отсутствия в нем продаж, отключен. Поэтому русский яндекс не нужен.
NEW 11.01.13 15:55
in Antwort Валидол 11.01.13 15:17
10 это не сканирует. Хотите я вам покажу что значит сканировать сайт? :-) Оставьте яндекс в покое вам же лучше.
NEW 11.01.13 18:13
пропиши в robots.txt правило для яндекса и он от тебя отстанет
User-agent: Yandex
Disallow: /
in Antwort Валидол 11.01.13 16:04
В ответ на:
a как приучить пореже?
a как приучить пореже?
пропиши в robots.txt правило для яндекса и он от тебя отстанет
User-agent: Yandex
Disallow: /
Продвижение сайтов, реклама: https://www.pro33.net
NEW 11.01.13 19:06
in Antwort project33 11.01.13 18:13, Zuletzt geändert 11.01.13 19:17 (Валидол)
пореже, не значит совсем
NEW 11.01.13 19:43
in Antwort Валидол 11.01.13 19:06, Zuletzt geändert 11.01.13 19:54 (project33)
а ты чего собственно добиваешься? заблокировав адрес бота ты совсем ему кислород перекрыл, а так будет заходить иногда, смотреть на robots.txt на случай если ты передумаешь когда-нибудь...
если че, можещь юзать параметр Crawl delay.
если че, можещь юзать параметр Crawl delay.
В ответ на:
Позволяет указать индексирующему роботу минимальный промежуток времени (в секундах) между обращениями к страницам сайта. Этот параметр полезен для крупных проектов, содержащих десятки тысяч страниц и более. Поисковый робот Яндекса при индексировании может создать на такой сайт большую нагрузку, что может вызвать перебои и задержки в работе сайта, поэтому, возможно, вам следует ограничить количество обращений в секунду. Например, директива Crawl-delay: 2 укажет роботу, что он должен выжидать 2 секунды между обращениями к серверу.
Позволяет указать индексирующему роботу минимальный промежуток времени (в секундах) между обращениями к страницам сайта. Этот параметр полезен для крупных проектов, содержащих десятки тысяч страниц и более. Поисковый робот Яндекса при индексировании может создать на такой сайт большую нагрузку, что может вызвать перебои и задержки в работе сайта, поэтому, возможно, вам следует ограничить количество обращений в секунду. Например, директива Crawl-delay: 2 укажет роботу, что он должен выжидать 2 секунды между обращениями к серверу.
Продвижение сайтов, реклама: https://www.pro33.net
NEW 11.01.13 20:11
in Antwort project33 11.01.13 19:43, Zuletzt geändert 11.01.13 20:16 (Валидол)
11.01.13 20:49
in Antwort Валидол 11.01.13 20:11
Разные боты для разных целей.
Кто то ищет только картинки, кто то только новую информацию, кто то изменение старой и тэдэ ...
Кто то ищет только картинки, кто то только новую информацию, кто то изменение старой и тэдэ ...
вполяне - жизнь в лесу
NEW 11.01.13 21:50
in Antwort Валидол 11.01.13 21:32
NEW 12.01.13 09:31
достаточно один перекрыть, чтоб яндекс отказался от индексирования сайта
in Antwort Валидол 11.01.13 20:11
В ответ на:
У яндекса есть и другие диапозоны.
У яндекса есть и другие диапозоны.
достаточно один перекрыть, чтоб яндекс отказался от индексирования сайта
Продвижение сайтов, реклама: https://www.pro33.net
NEW 12.01.13 14:08
А разве нельзя указать с какой частотой они сайт посещать должны?
не знаю на сколько эффективно для Яндекса, но в sitemap.xml можно выставить и раз в год.
in Antwort Валидол 11.01.13 14:05
В ответ на:
На сколько часто он приходит к вам?
На сколько часто он приходит к вам?
А разве нельзя указать с какой частотой они сайт посещать должны?
не знаю на сколько эффективно для Яндекса, но в sitemap.xml можно выставить и раз в год.
NEW 12.01.13 15:11
in Antwort Vovan(ator) 12.01.13 14:08
Имеешь ввиду changefreq? Или что-то другое?
changefreq, сейчас выставлю, посмотрим что будет. Спасибо.
changefreq, сейчас выставлю, посмотрим что будет. Спасибо.
NEW 12.01.13 17:47
in Antwort project33 11.01.13 18:13
robots.txt это рекомендация для поискового бота - можно ли индексировать директорию файлы и т.д. "пастись" на сервере он все равно будет
Закрывать доступ к сайту для ненужных ботов для снижения нагрузки на сервер лучше через .htacess если стоит apache
У тебя скорее всего "веселятся" вот эти два YandexMedia и YandexImagesк
Закрыть можно по этому принципу
RewriteCond %{HTTP_USER_AGENT} .*YandexMedia.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} .*YandexImagesк.* [NC,OR]
RewriteRule .* - [F,L]
P.S могу накосячить с кодом надо проверят на сервисах гугла правильность кода и проконтролировать по логам.
P.S.S у меня апача нет стоит nginx там запрет по правилам:
if ( $http_user_agent ~* (Googlebot|bingbot|AhrefsBot) ){
return 404;
}
Закрывать доступ к сайту для ненужных ботов для снижения нагрузки на сервер лучше через .htacess если стоит apache
У тебя скорее всего "веселятся" вот эти два YandexMedia и YandexImagesк
Закрыть можно по этому принципу
RewriteCond %{HTTP_USER_AGENT} .*YandexMedia.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} .*YandexImagesк.* [NC,OR]
RewriteRule .* - [F,L]
P.S могу накосячить с кодом надо проверят на сервисах гугла правильность кода и проконтролировать по логам.
P.S.S у меня апача нет стоит nginx там запрет по правилам:
if ( $http_user_agent ~* (Googlebot|bingbot|AhrefsBot) ){
return 404;
}
VPN сервис без логов - Ваша анонимность в сети!
NEW 12.01.13 19:50
in Antwort ant_01 12.01.13 17:47
YandexMedia , YandexImagesк
Спасибо. прописал в .htaccess, посмотрим что будет.
...
Я обратил внимание на этого янндекс-паука, по одной причине, он постоянно перенаправлялся на старницу "Ваш броузер не поддерживает куки, включите". Tакой сканер, не только мне, он никому не нужен
Спасибо. прописал в .htaccess, посмотрим что будет.
...
Я обратил внимание на этого янндекс-паука, по одной причине, он постоянно перенаправлялся на старницу "Ваш броузер не поддерживает куки, включите". Tакой сканер, не только мне, он никому не нужен