Активируй свой Блог! Система Активной Рекламы WMZONA.COM * [F17]
Делаю новый сайт на новом домене, неделя от роду, гугл-боту ещё не известен, отлаживаю скрипт, вдруг у меня на глазах начинает заполняться кэш и притом быстро так. Иду смотреть логи: робот panscient.com IP 38.100.8.50 шустро так сканирует сайт. 165 страниц за пять минут, притом некоторые страницы по два раза. А то на сайте всего сто страниц :) а ему мало. При этом роботс.тхт он не брал. Т.е. сканировал всё подряд.
Собранную базу они продают, не говорят за сколько :)
Кто-нибудь знает, это за стартап такой буйный?
В их ФАКе понравилось:
How often will your crawler request a page from my server?
The Panscient web crawler will request a page at most once every second from the same domain name or the same IP address.
Раз в секунду...
* Реклама в бомжеленте.
Помогите детям!
[http://homelessinlugansk.blogspot.com/2009/02/panscientcom.html]
