Strict Standards: Resource ID#18 used as offset, casting to integer (18) in /home/tvoyweb/domains/tvoyweb.ru/public_html/forums/include/fm.class.php on line 401

Strict Standards: Resource ID#23 used as offset, casting to integer (23) in /home/tvoyweb/domains/tvoyweb.ru/public_html/forums/include/fm.class.php on line 401

Strict Standards: Resource ID#25 used as offset, casting to integer (25) in /home/tvoyweb/domains/tvoyweb.ru/public_html/forums/include/fm.class.php on line 401

Strict Standards: Resource ID#26 used as offset, casting to integer (26) in /home/tvoyweb/domains/tvoyweb.ru/public_html/forums/include/fm.class.php on line 401
ТвойWeb :: HTTP_REFERER не считает ботов почему-то. [3]
ТвойWeb ТвойWeb
Качественный Европейский хостинг
 Форум для чайников
 Чат на форуме      Помощь      Поиск      Пользователи


 Страниц (4): « 1 2 [3] 4 »   

> Описание: Переменные для ссылки куда перешёл и откуда...
Поиск в теме | Версия для печати
Alone
Отправлено: 25 Мая, 2007 - 01:28:07
Post Id



Super Member


Покинул форум
Сообщений всего: 2393
Дата рег-ции: Дек. 2004  

Карма 8
ETC пишет:
Ты можешь внятно сказать, как и какой прогой/скриптом снимается статистика?


Ну это уже другой вопрос.

Ладно фиг с ними с этими ботами Улыбка

(Отредактировано автором: 25 Мая, 2007 - 01:28:45)
 
 Top
glaberzu
Отправлено: 20 Ноября, 2007 - 12:43:55
Post Id



Археолог


Покинул форум
Сообщений всего: 13
Дата рег-ции: Нояб. 2007  

Карма 0




 Alone
Интересный вопрос, кстати. Можно попробовать их определять по HTTP_USER_AGENT. Большинство - попадутся. Но некоторые маскируются (гугл кажется под Мозиллу косит).
CODE:

if (strstr($_SERVER['HTTP_USER_AGENT'], 'Yandex')){ $bot='Yandex'; }

Все. Знаем что яндекс. Далее берем REQUEST_URI как и говорил ETC. Узнаем по каким страницам шатается бот.

(Отредактировано автором: 20 Ноября, 2007 - 12:44:51)
 
 Top
awep
Отправлено: 26 Ноября, 2007 - 01:26:20
Post Id



Наш человек


Покинул форум
Сообщений всего: 304
Дата рег-ции: Дек. 2005  
Откуда: Казань

Карма 6




 раельно ботов можно вычислить только по HTTP_USER_AGENT, и то не всегда, т.к. маскироваться могут.
Вот список из ExBB FM:
CODE:
$spiders = array(
'Aport',
'archive_org',
'TurtleScanner',
'Nutscrape',
'WebSpeedReader',
'StackRambler',
'NetCaptor',
'Bond',
'Wget',
'Space Bison',
'msnbot',
'Yahoo',
'Mediapartners-Google',
'Googlebot',
'Yahoo-MMCrawler',
'Google',
'Slurp',
'ZyBorg',
'Gigabot',
'Exabot',
'Yandex',
'WebAlta',
'WebCrawler'
);

То есть проверяешь, если в $_SERVER['HTTP_USER_AGENT'] одно из этих значений, то это - бот.
 
 Top
Alone
Отправлено: 26 Ноября, 2007 - 04:51:09
Post Id



Super Member


Покинул форум
Сообщений всего: 2393
Дата рег-ции: Дек. 2004  

Карма 8




 Вопрос был в том что боты не отдают ссылки откуда они перешли refferer.
Т.е. интересно просто знать ссылки их маршрута посещений сайта.

Определить бот это или нет - это понятно, а вот узнать где он только что был...

Например GoogleBot - http://tvoyweb.ru/forums/topic.p...17&topic=436
Например Mail.ru - http://tvoyweb.ru/forums/topic.p...17&topic=435
Например Yahoo - http://tvoyweb.ru/forums/topic.p...17&topic=434
 
 Top
glaberzu
Отправлено: 26 Ноября, 2007 - 05:06:36
Post Id



Археолог


Покинул форум
Сообщений всего: 13
Дата рег-ции: Нояб. 2007  

Карма 0




 Alone
ВНимательно читай. Где он только что был определяется одном движением по ЮРИ (REQUEST_URI). А приходит он всегда из одного места - своего головного сайта (гугла, яндекса и т.д.) и прямо на твой сайт.

Для особо ленивых весь скрипт:
CODE:

if (strstr($_SERVER['HTTP_USER_AGENT'], 'Yandex')){ $bot='Yandex';}
else if (strstr($_SERVER['HTTP_USER_AGENT'], 'Googlebot')){$bot='Google';}
else if (strstr($_SERVER['HTTP_USER_AGENT'], 'Slurp')){$bot='Hot Bot search';}
else if (strstr($_SERVER['HTTP_USER_AGENT'], 'WebCrawler')){$bot='WebCrawler search';}
else if (strstr($_SERVER['HTTP_USER_AGENT'], 'ZyBorg')){$bot='Wisenut search';}
else if (strstr($_SERVER['HTTP_USER_AGENT'], 'google')){$bot='Google';}
else if (strstr($_SERVER['HTTP_USER_AGENT'], 'scooter')){$bot='AltaVista';}
else if (strstr($_SERVER['HTTP_USER_AGENT'], 'StackRambler')){$bot='Rambler';}
else if (strstr($_SERVER['HTTP_USER_AGENT'], 'aport')){$bot='Aport';}
else if (strstr($_SERVER['HTTP_USER_AGENT'], 'lycos')){$bot='Lycos';}
else if (strstr($_SERVER['HTTP_USER_AGENT'], 'yahoo')){$bot='Yahoo';}
if($bot !=""){
$b_data = "bots.dat";
$inf = date("YmdHis",time());
$day = date("d.m.Y",time());
$time = date("H:i",time());
$ip = $REMOTE_ADDR;
$home = $_SERVER['HTTP_HOST'] . $_SERVER['REQUEST_URI'];
$data = fopen($b_data, "a");
fwrite($data, "$inf|$day|$time|$bot|$ip|$home|\r\n");
fclose($data);
}

В bots.dat имеем всю поднаготную по каждому боту. $home - где сидит (ходит, что запросил).

(Отредактировано автором: 26 Ноября, 2007 - 05:11:22)
 
 Top
Alone
Отправлено: 26 Ноября, 2007 - 06:57:41
Post Id



Super Member


Покинул форум
Сообщений всего: 2393
Дата рег-ции: Дек. 2004  

Карма 8




 glaberzu
Чёто не работает.

Кстати я подумал почему бы твой код не сократить до этого варианта:

CODE:
if($_SERVER['HTTP_USER_AGENT'] !=""){
$b_data = "bots.dat";
$inf = date("YmdHis",time());
$day = date("d.m.Y",time());
$time = date("H:i",time());
$ip = $REMOTE_ADDR;
$home = $_SERVER['HTTP_HOST'] . $_SERVER['REQUEST_URI'];
$data = fopen($b_data, "a");
fwrite($data, "$inf|$day|$time|$bot|$ip|$home|\r\n");
fclose($data);
}


Один хрен...
 
 Top
Furax
Отправлено: 26 Ноября, 2007 - 08:00:14
Post Id



Бледнотик


Покинул форум
Сообщений всего: 1472
Дата рег-ции: Март 2007  
Откуда: Иркутск, Сибирь, СССР

Карма 32




 Alone
А так не только боты будут логиться, но и все юзеры.
 
 Top
Alone
Отправлено: 26 Ноября, 2007 - 08:03:32
Post Id



Super Member


Покинул форум
Сообщений всего: 2393
Дата рег-ции: Дек. 2004  

Карма 8
Furax пишет:
А так не только боты будут логиться, но и все юзеры.

Ну так хорошо.
Но не работает...
 
 Top
Alone
Отправлено: 26 Ноября, 2007 - 08:43:28
Post Id



Super Member


Покинул форум
Сообщений всего: 2393
Дата рег-ции: Дек. 2004  

Карма 8




 О, чудо! Всё работает Улыбка
Это я не туда код просто прописал, блин.
Всё работает.
Сенкс.
 
 Top
glaberzu
Отправлено: 26 Ноября, 2007 - 09:49:48
Post Id



Археолог


Покинул форум
Сообщений всего: 13
Дата рег-ции: Нояб. 2007  

Карма 0




 Alone
Вот люди пошли. Улыбка Внимательно все делай и читай и будет тебе счастье. Все работает.
Удачи Хорошо
 
 Top
Поиск в теме | Версия для печати
Страниц (4): « 1 2 [3] 4 »
Сейчас эту тему просматривают: 3 (гостей: 3, зарегистрированных: 0, скрытых: 0)
« PHP/Perl »


Все гости форума могут просматривать этот раздел.
Только администраторы и модераторы могут создавать новые темы в этом разделе.
Только администраторы и модераторы могут отвечать на сообщения в этом разделе.
  



Форум на AlfaSpace.NET


Powered by ExBB
ExBB FM 1.0 RC1 by TvoyWeb.ru
InvisionExBB Style converted by Markus®
[Script Execution time: 0.0457]     [ Gzipped ]



Notice: ob_end_flush(): failed to send buffer of ob_gzhandler (1) in /home/tvoyweb/domains/tvoyweb.ru/public_html/forums/include/page_tail.php on line 33