curl, запрос страницы сайта со всеми счетчиками


Vladskiy
123

День добрый.

Есть сайт, к страницам которого нужно обратиться с помощью curl так, как идет обращение с браузера.

То есть так, что бы и в счетчиках это отобразилось (не с целью накрутки).

Есть следующий код

<?PHP
$ch = curl_init('https://my.site.net');

curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, 0);
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, 0);

curl_setopt ($ch, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36"); 

$headers = array
(
    'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*;q=0.8',
    'Accept-Language: ru,en-us;q=0.7,en;q=0.3',
    'Accept-Encoding: deflate',
    'Accept-Charset: windows-1251,utf-8;q=0.7,*;q=0.7'
); 

curl_setopt($ch, CURLOPT_HTTPHEADER,$headers); 

curl_setopt($ch, CURLOPT_REFERER, "http://www.test.ru/forum");

curl_setopt($ch, CURLOPT_RETURNTRANSFER, 0); 

$result = curl_exec($ch);
curl_close($ch);
?>

Но при запросе страницы с данным кодом, в счетчиках статистика все равно не меняется.

Как сделать, что бы и в счетчиках изменилась статистика?


edka

Большинство счетчиков срабатывает, если выполняется JS код, при curl запросе этого не происходит


lutskboy

если ето идет как картинка то перейти по ссылке


Vladskiy

edka #:
Большинство счетчиков срабатывает, если выполняется JS код, при curl запросе этого не происходит

А есть какой нибудь способ кроме curl, для срабатывания JS?


Дикий пионер

А есть какой нибудь способ кроме curl, для срабатывания JS?

Phantom.js, selenium — это по сути управление браузером.

А так в целом — заходите на целевую страницу, смотрите в средствах разработчика во вкладке Network какие запросы выполняет браузер и выполняете те же запросы через curl.


edka

Vladskiy #:

А есть какой нибудь способ кроме curl, для срабатывания JS?

Есть еще решение в лоб, написать расширение для Хрома например, оно будет открывать нужные странички по таймеру, обновлять их или ходить по ссылкам.

Решение конечно велосипедное, нужно будет постоянно держать вкладку открытой, чтобы оно работало.

Но это вариант если нужно побыстрому сделать, а иногда так и нужно )


Sitealert

Vladskiy :
не с целью накрутки

А с какой целью?
Curl используют с целью получения данных. А для исполнения JS используют браузер или аналогичный клиент. Если хотите, чтобы запрос шёл через сервер, организуйте прокси.


hakuna matata

https://github.com/puppeteer/puppeteer

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *