Как гугл банит за парсинг?
February 24th, 2008 by mescalito
Заинтересовало сделал тест.
Имею US сервер нанем VPN сервер установлен уменя разумеется клиент на серваке Win2003 US уменя WinXp US. Запустил парсер получил бан парсер не юзает доменые имена. Лезу с под VPNa в гугл с домашнего компа тоесть всякая ерунда вдухе время агент и так далее разные даже время и часовой пояс, но там и там все US-ENG тоесть я сежу как истеный амер (нет никакого RU). И что я вижу в гуле пику ведите капчу, из под своего родного IP прочистев куки в браузере бан не получил. Из этого я могу сделать вывод бан получил ip name-сервера. Я думаяю бан не как не зависет от доменов и всякой юзоровской информации о компе.
тайм аут между запросами в 10 сек поставь и все будет гуд.
Если конечно скорость парсинга не критична.
Если запросы только inurl/allurl то пойдет в бан и таким таймаутом.
http://www.umaxforum.com/showthread.php?t=23815
