Архив за августа 2007

Какие-то неизвестные боты…

Автор: admin 12 Авг 2007

На одном моём проекте начали появляться какие странные боты:

Первый идентифицируется как:

  • Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0; Google Wireless Transcoder
  • Ничего плохого не делает, просто хавает главную страницу и уходит. Что это за зверь такой пока не знаю. Если знаете то наспамте плз.

    Юзер агент второго бота выглядит так:

  • Mozilla/5.0 (compatible; YodaoBot/1.0; http://www.yodao.com/help/webmaster/spider/
  • Вот этого советую забанить в своём robots.txt, лично у меня он создаёт такой довольно не хилый, мне нафиг не нужный трафик :)

    (0) отзывы Рубрики: Поисковики