Есть рецепты по определению на лету бот / не бот с помощью РНР?


Asar
621

Нужно не для того, чтобы банить левак и уменьшать нагрузку на сервер, а просто для статы. Поэтому задача не в том, чтобы отделить людей и хороших ботов от плохих ботов, а в том, чтобы отделить людей от всех ботов и поэтому цена ошибки невелика, а гимор наживать неохота.

Есть готовые рецепты какие-нить или только смотреть, какие боты ходят и пробовать отшивать по навзаниям в юзерагенте? Но и в агенте, канеш, на панацея, потому как мне неочевидно, что это

Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.93 Safari/537.36 OPR/32.0.1948.69

бот, а, судя по поведению, это таки бот…

В общем, просьба поделиться опытом, кто задачку решал какую-нить похожую.


V_G

Тогда только через Javascript.


Оптимизайка

С помощью PHP очень немного случаев можно отследить.


Asar

Т.е. тупо перебирать по вхождению в агент? Если да, то хоть списки есть более-менее вменяемые, по чему отбор делать, чтобы самому велосипед не изобретать?


дани мапов

function _bot_detected() — http://stackoverflow.com/questions/677419/how-to-detect-search-engine-bots-with-php


Asar

дани мапов, понял, спасиб, примерно так щас и делаю.


Оптимизайка

Поставьте метрику, она показывает % ботов, плюс свой счетчик по логам веб-сервера, да и всего делов.


Asar

Я б поставил, но мне нужна стата по условиям, которые видит только РНР, а метрика не видит…


edogs software

Asar :

бот, а, судя по поведению, это таки бот…

В общем, просьба поделиться опытом, кто задачку решал какую-нить похожую.

Боты крайне редко грузят картинки.
А те кто грузят, обычно грузят так же и невидимые картинки (которые не грузят браузеры).
Поэтому делаем так что бы на странице была видимая картинка (пусть даже логотип или пустую 1х1) и невидимая (в слое дисплей-нон).
А потом смотрим по логам апача
а) если в один запрос было обращение к странице но не дергались картинки — скорее всего бот
б) если в один запрос было обращение к странице но дернулись обе картинки — скорее всего бот
в) если же дернулась сама страница и только видимая картинка — скорее всего человек

От ботов на headless браузерах не особо спасает, но ими пользуется очень мало народу, т.к. ресурсы жрут безбожно.


cejose2983

сейчас куча ботов, ваш сайт не пасти. не занимайтесь ерундой, бывают даже полезные боты.


seoalbatros

сейчас куча ботов, ваш сайт не пасти. не занимайтесь ерундой, бывают даже полезные боты.

Выявление ботов, это важная задача. Есть особи, которые невидны, ни каким метрикам и яваскриптам. И, к стати, именно такие боты и  убивают сервер своими запросами.  Но это уже не в тему:)

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *