Вырубил принудительно этого робота на всех доменах. Достал.
This entry was posted
on Tuesday, November 1st, 2011 at 5:39 pm and is filed under Общее.
You can follow any responses to this entry through the RSS 2.0 feed.
You can leave a response, or trackback from your own site.
Для поисковых ботов не совсем корректно иметь несколько записей User-agent: *
Гугль и Яндекс пишут на новый robots вот что:
“Найдено несколько правил вида “User-agent: *”
Лучше добавлять принудительно в начало каждого robots
User-agent: baiduspider
Disallow: /
А остальное как и было — на усмотрение Партнёров, ибо то, что сейчас закрыто в robots по умолчанию (для всех партнёров) – этого крайне мало.
Из robots.txt baidu убрал – плевал он на него…
Поэтому сейчас удаляется на уровне web-сервера