В определенной тематике завелся грязный дорвейщик, использующий пандору. Что он делает: бот проходится по сайтам из ТОПа определенных запросов и берет с каждого из них по одному предложению текста. Затем Собранные предложения с разных сайтов перемешивает и текстовыми блоками вставляет на страницы своих доров. Далее просто делает прогон доров по большой базе. В итоге сайты-доноры понижаются в позициях, как имеющие неуникальный контент. А его доры лезут в топ целыми пачками.
Защититься от этого воровства контента невозможно как ни крути — это понятно. Но думаю, можно затупить данного бота немного.
Обнаружил присутствие такого бота на своем сайте. Бот быстро открывал все страницы сайта поочередно, задерживаясь на них по минуте примерно.
Вопрос в следующем:
Как сделать так, чтобы с одного IP можно было ПАРАЛЛЕЛЬНО открывать страницы сайта с интервалом НЕ МЕНЕЕ к примеру 10 секунд? А если попытаться открыть быстрее, то будет выдаваться страница с определенным сообщением (без всяких редиректов через сколько то секунд, а просто с текстовым сообщением типа «Вы передвигаетесь по сайту слишком быстро. Попробуйте открывать страницу через 10 секунд»). И чтобы это условие работало для всех, кроме поисковых ботов.
В этом случае РЕАЛЬНЫЙ посетитель прочитает сообщение и не уйдет с сайта, а откроет страницу через 10 сек. А этот дорный бот просто зайдет в тупик (в страницу с сообщением) при каждой попытке открыть новую страницу. И в итоге сможет собрать контент только с главной страницы сайта.
Думаю это единственный способ защититься от такого бота.
Вот как бы это реализовать? Кто-нибудь поможет?
xales
Eluga:
Думаю это единственный способ защититься от такого бота.
Думаю, Антибот Вам в помощь.
Eluga
xales: Думаю, Антибот Вам в помощь.
Можно подробней?
jsmith820
Программировать вручную, или поставить Cloudflare. Там Firewall -> Tools -> Rate Limiting. Но это денег стоит, так что если проект не коммерческий, проще самому запрограммировать правило для сайта.
Eluga
xales: Думаю, Антибот Вам в помощь.
Нет, антибот тут явно не поможет.
———- Добавлено 12.03.2020 в 16:52 ———-
jsmith820: Программировать вручную, или поставить Cloudflare. Там Firewall -> Tools -> Rate Limiting. Но это денег стоит, так что если проект не коммерческий, проще самому запрограммировать правило для сайта.
Вот собственно я и думал, что кто-то подскажет, как реализовать это.
А Вы говорите такое есть в клоде? Прям именно то, что я описал? Если да, то думаю, купить платный клод-тариф — не проблема. А оно не будет проделывать то же самое с поисковыми ботами? Иначе это негативно скажется на индексе в итоге.
Mik Foxi
Eluga, антиботов много всяких бывает. клаудфлар немного не тот антибот, он больше антиддос.
Mik Foxi
Eluga, антиботов много всяких бывает. клаудфлар немного не тот антибот, он больше антиддос.
Mik Foxi
Eluga, антиботов много всяких бывает. клаудфлар немного не тот антибот, он больше антиддос.
Mik Foxi
Eluga, антиботов много всяких бывает. клаудфлар немного не тот антибот, он больше антиддос.
Mik Foxi
вот серч переглючило
Eluga
foxi: Eluga, антиботов много всяких бывает. клаудфлар немного не тот антибот, он больше антиддос.
А вообще почитал про антибота. Может и подойдет. А может и клодовская функция подойдет. А если нет, то буду заказывать кодинг. Спасибо.
Eluga
Приветствую.
Возникла такая проблема:
В определенной тематике завелся грязный дорвейщик, использующий пандору. Что он делает: бот проходится по сайтам из ТОПа определенных запросов и берет с каждого из них по одному предложению текста. Затем Собранные предложения с разных сайтов перемешивает и текстовыми блоками вставляет на страницы своих доров. Далее просто делает прогон доров по большой базе. В итоге сайты-доноры понижаются в позициях, как имеющие неуникальный контент. А его доры лезут в топ целыми пачками.
Защититься от этого воровства контента невозможно как ни крути — это понятно. Но думаю, можно затупить данного бота немного.
Обнаружил присутствие такого бота на своем сайте. Бот быстро открывал все страницы сайта поочередно, задерживаясь на них по минуте примерно.
Вопрос в следующем:
Как сделать так, чтобы с одного IP можно было ПАРАЛЛЕЛЬНО открывать страницы сайта с интервалом НЕ МЕНЕЕ к примеру 10 секунд? А если попытаться открыть быстрее, то будет выдаваться страница с определенным сообщением (без всяких редиректов через сколько то секунд, а просто с текстовым сообщением типа «Вы передвигаетесь по сайту слишком быстро. Попробуйте открывать страницу через 10 секунд»). И чтобы это условие работало для всех, кроме поисковых ботов.
В этом случае РЕАЛЬНЫЙ посетитель прочитает сообщение и не уйдет с сайта, а откроет страницу через 10 сек. А этот дорный бот просто зайдет в тупик (в страницу с сообщением) при каждой попытке открыть новую страницу. И в итоге сможет собрать контент только с главной страницы сайта.
Думаю это единственный способ защититься от такого бота.
Вот как бы это реализовать? Кто-нибудь поможет?
xales
Думаю это единственный способ защититься от такого бота.
Думаю, Антибот Вам в помощь.
Eluga
Думаю, Антибот Вам в помощь.
Можно подробней?
jsmith820
Программировать вручную, или поставить Cloudflare. Там Firewall -> Tools -> Rate Limiting. Но это денег стоит, так что если проект не коммерческий, проще самому запрограммировать правило для сайта.
Eluga
Думаю, Антибот Вам в помощь.
Нет, антибот тут явно не поможет.
———- Добавлено 12.03.2020 в 16:52 ———-
Программировать вручную, или поставить Cloudflare. Там Firewall -> Tools -> Rate Limiting. Но это денег стоит, так что если проект не коммерческий, проще самому запрограммировать правило для сайта.
Вот собственно я и думал, что кто-то подскажет, как реализовать это.
А Вы говорите такое есть в клоде? Прям именно то, что я описал? Если да, то думаю, купить платный клод-тариф — не проблема. А оно не будет проделывать то же самое с поисковыми ботами? Иначе это негативно скажется на индексе в итоге.
Mik Foxi
Eluga, антиботов много всяких бывает. клаудфлар немного не тот антибот, он больше антиддос.
Mik Foxi
Eluga, антиботов много всяких бывает. клаудфлар немного не тот антибот, он больше антиддос.
Mik Foxi
Eluga, антиботов много всяких бывает. клаудфлар немного не тот антибот, он больше антиддос.
Mik Foxi
Eluga, антиботов много всяких бывает. клаудфлар немного не тот антибот, он больше антиддос.
Mik Foxi
вот серч переглючило
Eluga
Eluga, антиботов много всяких бывает. клаудфлар немного не тот антибот, он больше антиддос.
А вообще почитал про антибота. Может и подойдет. А может и клодовская функция подойдет. А если нет, то буду заказывать кодинг. Спасибо.