ТвойWeb :: Версия для печати :: HTTP_REFERER не считает ботов почему-то. [4]

31. Alone - 26 Ноября, 2007 - 10:16:43 - перейти к сообщению

glaberzu
Улыбка

Да запарился...

Кстати с роботами лучше такой список юзать:

CODE:

if (stristr($_SERVER['HTTP_USER_AGENT'], Yandex)) {$bot = "Yandex";}
if (stristr($_SERVER['HTTP_USER_AGENT'], Mail.ru)) {$bot = "Mail.ru";}
if (stristr($_SERVER['HTTP_USER_AGENT'], Msnbot)) {$bot = "Msnbot";}
if (stristr($_SERVER['HTTP_USER_AGENT'], Yahoo)) {$bot = "Yahoo";}
if (stristr($_SERVER['HTTP_USER_AGENT'], Google)) {$bot = "Google";}
if (stristr($_SERVER['HTTP_USER_AGENT'], Aport)) {$bot = "Aport";}
if (stristr($_SERVER['HTTP_USER_AGENT'], Rambler)) {$bot = "Rambler";}
if (stristr($_SERVER['HTTP_USER_AGENT'], webalta)) {$bot = "webalta";}
if (stristr($_SERVER['HTTP_USER_AGENT'], Slurp)) {$bot = "Slurp";}
if (stristr($_SERVER['HTTP_USER_AGENT'], Gigabot)) {$bot = "Gigabot";}
if (stristr($_SERVER['HTTP_USER_AGENT'], Snapbot)) {$bot = "Snapbot";}
if (stristr($_SERVER['HTTP_USER_AGENT'], archive_org)) {$bot = "Archive_org";}
if (stristr($_SERVER['HTTP_USER_AGENT'], TurtleScanner)) {$bot = "TurtleScanner";}
if (stristr($_SERVER['HTTP_USER_AGENT'], Nutscrape)) {$bot = "Nutscrape";}
if (stristr($_SERVER['HTTP_USER_AGENT'], WebSpeedReader)) {$bot = "WebSpeedReader";}
if (stristr($_SERVER['HTTP_USER_AGENT'], Bond)) {$bot = "Bond";}
if (stristr($_SERVER['HTTP_USER_AGENT'], Wget)) {$bot = "Wget";}
if (stristr($_SERVER['HTTP_USER_AGENT'], ZyBorg)) {$bot = "ZyBorg";}
if (stristr($_SERVER['HTTP_USER_AGENT'], Exabot)) {$bot = "Exabot";}

И через регистронезависимую функцию stristr

32. awep - 26 Ноября, 2007 - 13:14:23 - перейти к сообщению

Alone, а не проще юзать цикл?
п.с. советую посмотреть функцию _IsSpider() в ExBB FM (includes/fm.class.php)

и еще раз повторю: боты могут не передавать HTTP_REFERER.
То есть нужно переформулировать проблему. Я вообще теперь не понимаю, чего тебе нужно. Если просто хочешь собирать статистику, то тупо игнорируй ботов и вообще всех, у кого пустой реферер.

glaberzu, бот не обязательно приходит со своего "головного сайта". Он же для начала собирает ссылки со страниц, т.е. "путешествует" по сайту.

33. Alone - 26 Ноября, 2007 - 13:39:13 - перейти к сообщению

awep
Да всё работает нормально.

awep пишет:

и еще раз повторю: боты могут не передавать HTTP_REFERER.

Ну так эта именно проблема и была решена.

awep пишет:

То есть нужно переформулировать проблему. Я вообще теперь не понимаю, чего тебе нужно. Если просто хочешь собирать статистику, то тупо игнорируй ботов и вообще всех, у кого пустой реферер.

Можно конечно игнорировать, но интереснее знать где они ходят Улыбка

Само сабой для статистики. А то до этого я знал что они ходят, а теперь знаю ещё и где Улыбка

awep пишет:

glaberzu, бот не обязательно приходит со своего "головного сайта". Он же для начала собирает ссылки со страниц, т.е. "путешествует" по сайту.

У мен вообщем как получается:
С первого раза (т.е. с первой страницы) скрипт не видит бота, а потом нормально - показывает как у всех юзеров ссылочки, где был.

34. glaberzu - 26 Ноября, 2007 - 14:29:16 - перейти к сообщению

awep пишет:

Какая связь не пойму? Ну и что что ходит - это уже обсудили. Ты мне лучше скажи, откуда он приходит если не с головного сервера. Для меня будет откровение.

35. ETC - 26 Ноября, 2007 - 14:30:38 - перейти к сообщению

Боты не посылают REFERER, уже миллионный раз говорю.

36. glaberzu - 26 Ноября, 2007 - 14:31:36 - перейти к сообщению

ETC это все знают.

37. awep - 26 Ноября, 2007 - 15:57:40 - перейти к сообщению

Цитата:

изначально приходит просто так, со своего сервака(или как это назвать,хз). И начинает собирать ссылки со страницы, потом переходит по ним(или опять же просто приходит на них с себя), собирает ссылки на следующей странице и так далее.
он не может просто так от балды прийти по какому-то адресу. он его должен сначала получить.
короче говоря, он ни откуда не приходит. он тупо скачивает страницу, адрес которой заранее грабит со страниц.

Цитата:

Само сабой для статистики. А то до этого я знал что они ходят, а теперь знаю ещё и где

imho невыгодно и бессмысленно собирать инфу о том, какие страницы проиндексировал бот. но только imho

38. Alone - 26 Ноября, 2007 - 18:54:07 - перейти к сообщению

awep
Да у меня тут просто другая немного ситуация. Ну и статистика тоже.
А в деталях это выглядит так: статистика выводится постранично, гиперсылки даются по названию страниц (по title), вот и получается ещё одно место где контент постоянно меняется и обновляется и ключевых фраз прибавляется, что поисковики любят.
Ну и на форуме ТвоегоВэба тоже показываются роботы....
А так конечно понятно, что роботы в любом случае проиндексируют всё, что плохо лежит Улыбка

39. shsb62 - 10 Ноября, 2008 - 08:33:37 - перейти к сообщению

Подскажите куда нужно ставить и сам код если можно.