Вырубил принудительно этого робота на всех доменах. Достал.
2 thoughts on “Baidu”
Для поисковых ботов не совсем корректно иметь несколько записей User-agent: *
Гугль и Яндекс пишут на новый robots вот что:
“Найдено несколько правил вида “User-agent: *”
Лучше добавлять принудительно в начало каждого robots
User-agent: baiduspider
Disallow: /
А остальное как и было — на усмотрение Партнёров, ибо то, что сейчас закрыто в robots по умолчанию (для всех партнёров) – этого крайне мало.
Из robots.txt baidu убрал – плевал он на него…
Поэтому сейчас удаляется на уровне web-сервера
Для поисковых ботов не совсем корректно иметь несколько записей User-agent: *
Гугль и Яндекс пишут на новый robots вот что:
“Найдено несколько правил вида “User-agent: *”
Лучше добавлять принудительно в начало каждого robots
User-agent: baiduspider
Disallow: /
А остальное как и было — на усмотрение Партнёров, ибо то, что сейчас закрыто в robots по умолчанию (для всех партнёров) – этого крайне мало.
Из robots.txt baidu убрал – плевал он на него…
Поэтому сейчас удаляется на уровне web-сервера