Похожие записи:
- Дубликаты mime-типов NGINX
- Почему после настройки новой сети соединение с моим сервером minecraft (через nginx) было потеряно, в то время как все другие службы, обслуживаемые nginx, работают нормально?
- Nginx 502 Проблема с API и php-fpm
- Не удается перезапустить nginx, я думаю, что-то с портом 80?
- Вопрос по теории программирования (ООП?)
Solmyr
Посоветуйте пожалуйста какие технологии можно использовать для защиты от нагружающих парсеров, то есть таких которые дают много глупых запросов. Например из одной подсети по одному запросу в секунду циклически меняя IP и юзер-агенты.
На уровне логики веб-приложения такое отсекается очень легко, но не хочется допускать таких парсеров до этого уровня, хочется корректно обрезать их чем-то раньше.
Mik Foxi
Клаудфлар — на уровне не доходящем до вашего сервера.
Смотреть логи и банить в nginx по юзерагенту и ip — тоже не доводя по php.
https://antibot.cloud/ — на уровне php вашего сайта.
ivan-lev
из одной подсети по одному запросу в секунду
Я бы смотрел в сторону nginx imit req. Осталось определиться с допустимыми правилами..
К примеру, как формализовать условие «запрашивается только странный адрес»? А потом в конфиге это условие и записать..
Если подсети известны — можно что-то вроде такого использовать:
https://stackoverflow.com/questions/49998529/nginx-rate-limiting-count-for-a-whole-subnet-not-just-per-ip
Mik Foxi
ivan-lev, с такими способами еще полезно иметь базу хороших ботов, типа гугла и яндекса, чтоб им не мешать, а то получится вреда больше, чем пользы.
Solmyr
Клаудфлар — на уровне не доходящем до вашего сервера.
Да, cloudflare как-раз такое убирает. Но речь идет чтобы убрать своими силами.
Смотреть логи и банить в nginx по юзерагенту и ip — тоже не доводя по php.
Чем смотреть? Чем банить, чем снимать бан, есть какой-то инструмент?
https://antibot.cloud/ — на уровне php вашего сайта.
На уровне php не интересно. У меня на уровне php самописная защита, которая банит и тупых ботов и умных. А хотелось бы найти какой-то инструмент, который банит тупых ботов раньше, не доходя до уровня php.
Mik Foxi
Solmyr, про nginx не встречал готового и удобного. Сам смотрю по логам антибота у себя и если бот имеет свой юзерагент и сильно надоедлив, тогда руками его заношу в nginx.
Mik Foxi
Solmyr, про nginx не встречал готового и удобного. Сам смотрю по логам антибота у себя и если бот имеет свой юзерагент и сильно надоедлив, тогда руками его заношу в nginx.
Mik Foxi
Solmyr, про nginx не встречал готового и удобного. Сам смотрю по логам антибота у себя и если бот имеет свой юзерагент и сильно надоедлив, тогда руками его заношу в nginx.
Mik Foxi
Solmyr, про nginx не встречал готового и удобного. Сам смотрю по логам антибота у себя и если бот имеет свой юзерагент и сильно надоедлив, тогда руками его заношу в nginx.
Mik Foxi
Solmyr, про nginx не встречал готового и удобного. Сам смотрю по логам антибота у себя и если бот имеет свой юзерагент и сильно надоедлив, тогда руками его заношу в nginx.
ivan-lev
Чем смотреть? Чем банить, чем снимать бан, есть какой-то инструмент?
Для начала определиться с условиями бана.. )) формализовать.
Так-то, тот же fail2ban можно пользовать.. 😀