Strict Standards: Resource ID#18 used as offset, casting to integer (18) in /home/tvoyweb/domains/tvoyweb.ru/public_html/forums/include/fm.class.php on line 401

Strict Standards: Resource ID#23 used as offset, casting to integer (23) in /home/tvoyweb/domains/tvoyweb.ru/public_html/forums/include/fm.class.php on line 401

Strict Standards: Resource ID#25 used as offset, casting to integer (25) in /home/tvoyweb/domains/tvoyweb.ru/public_html/forums/include/fm.class.php on line 401

Strict Standards: Resource ID#26 used as offset, casting to integer (26) in /home/tvoyweb/domains/tvoyweb.ru/public_html/forums/include/fm.class.php on line 401
ТвойWeb :: HTTP_REFERER не считает ботов почему-то. [4]
ТвойWeb ТвойWeb
Качественный Европейский хостинг
Форум для чайников
 Чат на форуме      Помощь      Поиск      Пользователи


 Страниц (4): « 1 2 3 [4]   

> Описание: Переменные для ссылки куда перешёл и откуда...
Alone
Отправлено: 26 Ноября, 2007 - 10:16:43
Post Id



Super Member


Покинул форум
Сообщений всего: 2393
Дата рег-ции: Дек. 2004  

Карма 8




glaberzu
Улыбка
Да запарился...

Кстати с роботами лучше такой список юзать:

CODE:
if (stristr($_SERVER['HTTP_USER_AGENT'], Yandex)) {$bot = "Yandex";}
if (stristr($_SERVER['HTTP_USER_AGENT'], Mail.ru)) {$bot = "Mail.ru";}
if (stristr($_SERVER['HTTP_USER_AGENT'], Msnbot)) {$bot = "Msnbot";}
if (stristr($_SERVER['HTTP_USER_AGENT'], Yahoo)) {$bot = "Yahoo";}
if (stristr($_SERVER['HTTP_USER_AGENT'], Google)) {$bot = "Google";}
if (stristr($_SERVER['HTTP_USER_AGENT'], Aport)) {$bot = "Aport";}
if (stristr($_SERVER['HTTP_USER_AGENT'], Rambler)) {$bot = "Rambler";}
if (stristr($_SERVER['HTTP_USER_AGENT'], webalta)) {$bot = "webalta";}
if (stristr($_SERVER['HTTP_USER_AGENT'], Slurp)) {$bot = "Slurp";}
if (stristr($_SERVER['HTTP_USER_AGENT'], Gigabot)) {$bot = "Gigabot";}
if (stristr($_SERVER['HTTP_USER_AGENT'], Snapbot)) {$bot = "Snapbot";}
if (stristr($_SERVER['HTTP_USER_AGENT'], archive_org)) {$bot = "Archive_org";}
if (stristr($_SERVER['HTTP_USER_AGENT'], TurtleScanner)) {$bot = "TurtleScanner";}
if (stristr($_SERVER['HTTP_USER_AGENT'], Nutscrape)) {$bot = "Nutscrape";}
if (stristr($_SERVER['HTTP_USER_AGENT'], WebSpeedReader)) {$bot = "WebSpeedReader";}
if (stristr($_SERVER['HTTP_USER_AGENT'], Bond)) {$bot = "Bond";}
if (stristr($_SERVER['HTTP_USER_AGENT'], Wget)) {$bot = "Wget";}
if (stristr($_SERVER['HTTP_USER_AGENT'], ZyBorg)) {$bot = "ZyBorg";}
if (stristr($_SERVER['HTTP_USER_AGENT'], Exabot)) {$bot = "Exabot";}


И через регистронезависимую функцию stristr
 
 Top
awep
Отправлено: 26 Ноября, 2007 - 13:14:23
Post Id



Наш человек


Покинул форум
Сообщений всего: 304
Дата рег-ции: Дек. 2005  
Откуда: Казань

Карма 6




Alone, а не проще юзать цикл?
п.с. советую посмотреть функцию _IsSpider() в ExBB FM (includes/fm.class.php)

и еще раз повторю: боты могут не передавать HTTP_REFERER.
То есть нужно переформулировать проблему. Я вообще теперь не понимаю, чего тебе нужно. Если просто хочешь собирать статистику, то тупо игнорируй ботов и вообще всех, у кого пустой реферер.

glaberzu, бот не обязательно приходит со своего "головного сайта". Он же для начала собирает ссылки со страниц, т.е. "путешествует" по сайту.
 
 Top
Alone
Отправлено: 26 Ноября, 2007 - 13:39:13
Post Id



Super Member


Покинул форум
Сообщений всего: 2393
Дата рег-ции: Дек. 2004  

Карма 8




awep
Да всё работает нормально.
awep пишет:
и еще раз повторю: боты могут не передавать HTTP_REFERER.

Ну так эта именно проблема и была решена.
awep пишет:
То есть нужно переформулировать проблему. Я вообще теперь не понимаю, чего тебе нужно. Если просто хочешь собирать статистику, то тупо игнорируй ботов и вообще всех, у кого пустой реферер.

Можно конечно игнорировать, но интереснее знать где они ходят Улыбка
Само сабой для статистики. А то до этого я знал что они ходят, а теперь знаю ещё и где Улыбка
awep пишет:
glaberzu, бот не обязательно приходит со своего "головного сайта". Он же для начала собирает ссылки со страниц, т.е. "путешествует" по сайту.

У мен вообщем как получается:
С первого раза (т.е. с первой страницы) скрипт не видит бота, а потом нормально - показывает как у всех юзеров ссылочки, где был.
 
 Top
glaberzu
Отправлено: 26 Ноября, 2007 - 14:29:16
Post Id



Археолог


Покинул форум
Сообщений всего: 13
Дата рег-ции: Нояб. 2007  

Карма 0




awep пишет:
glaberzu, бот не обязательно приходит со своего "головного сайта". Он же для начала собирает ссылки со страниц, т.е. "путешествует" по сайту.

Какая связь не пойму? Ну и что что ходит - это уже обсудили. Ты мне лучше скажи, откуда он приходит если не с головного сервера. Для меня будет откровение.

(Отредактировано автором: 26 Ноября, 2007 - 14:31:01)

 
 Top
ETC Администратор
Отправлено: 26 Ноября, 2007 - 14:30:38
Post Id



Flash-coder


Покинул форум
Сообщений всего: 5275
Дата рег-ции: Дек. 2003  
Откуда: TimeZero

Карма 26




Боты не посылают REFERER, уже миллионный раз говорю.
 
 Top
glaberzu
Отправлено: 26 Ноября, 2007 - 14:31:36
Post Id



Археолог


Покинул форум
Сообщений всего: 13
Дата рег-ции: Нояб. 2007  

Карма 0




ETC это все знают.
 
 Top
awep
Отправлено: 26 Ноября, 2007 - 15:57:40
Post Id



Наш человек


Покинул форум
Сообщений всего: 304
Дата рег-ции: Дек. 2005  
Откуда: Казань

Карма 6




Цитата:
Какая связь не пойму? Ну и что что ходит - это уже обсудили. Ты мне лучше скажи, откуда он приходит если не с головного сервера. Для меня будет откровение.
изначально приходит просто так, со своего сервака(или как это назвать,хз). И начинает собирать ссылки со страницы, потом переходит по ним(или опять же просто приходит на них с себя), собирает ссылки на следующей странице и так далее.
он не может просто так от балды прийти по какому-то адресу. он его должен сначала получить.
короче говоря, он ни откуда не приходит. он тупо скачивает страницу, адрес которой заранее грабит со страниц.
Цитата:
Само сабой для статистики. А то до этого я знал что они ходят, а теперь знаю ещё и где
imho невыгодно и бессмысленно собирать инфу о том, какие страницы проиндексировал бот. но только imho
 
 Top
Alone
Отправлено: 26 Ноября, 2007 - 18:54:07
Post Id



Super Member


Покинул форум
Сообщений всего: 2393
Дата рег-ции: Дек. 2004  

Карма 8




awep
Да у меня тут просто другая немного ситуация. Ну и статистика тоже.
А в деталях это выглядит так: статистика выводится постранично, гиперсылки даются по названию страниц (по title), вот и получается ещё одно место где контент постоянно меняется и обновляется и ключевых фраз прибавляется, что поисковики любят.
Ну и на форуме ТвоегоВэба тоже показываются роботы....
А так конечно понятно, что роботы в любом случае проиндексируют всё, что плохо лежит Улыбка
 
 Top
shsb62
Отправлено: 10 Ноября, 2008 - 08:33:37
Post Id


Newbie


Покинул форум
Сообщений всего: 10
Дата рег-ции: Нояб. 2008  

Карма 0




Подскажите куда нужно ставить и сам код если можно.
 
 Top
Страниц (4): « 1 2 3 [4]
Сейчас эту тему просматривают: 1 (гостей: 1, зарегистрированных: 0, скрытых: 0)
« PHP/Perl »


Все гости форума могут просматривать этот раздел.
Только администраторы и модераторы могут создавать новые темы в этом разделе.
Только администраторы и модераторы могут отвечать на сообщения в этом разделе.
 



Форум на AlfaSpace.NET


Powered by ExBB
ExBB FM 1.0 RC1 by TvoyWeb.ru
InvisionExBB Style converted by Markus®

[Script Execution time: 0.0492]     [ Gzipped ]