Есть такой сайт xakep.ru и он вроде использует CMS WordPress, для сайтов на этой системе есть полно вариантов как сделать самый правильный robots.txt в 2020 году, но у них он какой-то пустой.
Неужели их не волнует вопрос с так называемыми дублями страниц? Обычно там блокируют лишние страницы, теги, архивы, авторов, поиск и т.п., а у них как будто все открыто и им все ровно.
Можно ли так делать для обычного смертного?
П.С.
Всем заранее спасибо за ответы!
LEOnidUKG
robots.txt это рекомендация для роботов. Пока у вас нет траста ваш сайт надо вылизывать. А потом уже всем пофигу.
danforth
Потому что в 2020 году на robots срать всем, кроме сеошников, застрявших в 90х годах. Или вы думаете журнал выкинут из выдачи, потому что у них robots «подозрительно маленький», span не закрыли, а ещё у них нет оглавления как в сайтах Пузата?
Всегда умиляли люди, которые фапают на техническую оптимизацию, имея скучный, не уникальный (рерайт-рерайта в 3 поколении) контент, с украденными картинками, и при этом ещё удивляются почему сайт получает 3 калеки в месяц (и те боты).
Vladimir SEO
Dmitriy_2014: Можно ли так делать для обычного смертного?
Конечно можно. Вообще без роботса спокойно можно жить
Solmyr
У меня в гугле 200000 страниц «проиндексировано несмотря на запрет в robots.txt» чихать им на роботс. Хотя meta на страницах вроде соблюдают.
donc
Потому что на нормальном сайте и не должно быть этого роботс тхт
Это костыль для криворуких ВМ. А Sitemap и так добавить можно.
ziliboba0213
У меня в роботсе только сайтмэп 🍿
Sitealert
Почему у сайта сетевого журнала Хакер такой пустой robots.txt?
Потому что журнал Хакер знает, что основное назначение robots.txt – массовая фильтрация хакерами сайтов с нужной CMS.
donc
Sitealert: массовая фильтрация хакерами сайтов с нужной CMS.
Ну это можно и по коду сделать. Анализируя названия папок стилей и тп. Их, в 99% не меняют. Даже если вырезают все упоминания, как на серче:
Но даже поисковики рекомендуют его использовать и даже проверка синтаксиса в вебмастере есть, так и даже хакеры его используют правда всего в три строчки, и если его не сделать, то реально всякие так называемые дубли индексируются.
Я понимаю, что там крутым сайтам это не нужно, наверное, но даже у YouTube.com есть robots.txt, кстати с указанием на sitemap.xml.
donc
Dmitriy_2014: Но даже поисковики рекомендуют его использовать
То есть верить всему, что на заборе написано — твой предел?
Dmitriy_2014
Всем привет!
Есть такой сайт xakep.ru и он вроде использует CMS WordPress, для сайтов на этой системе есть полно вариантов как сделать самый правильный robots.txt в 2020 году, но у них он какой-то пустой.
Неужели их не волнует вопрос с так называемыми дублями страниц? Обычно там блокируют лишние страницы, теги, архивы, авторов, поиск и т.п., а у них как будто все открыто и им все ровно.
Можно ли так делать для обычного смертного?
П.С.
Всем заранее спасибо за ответы!
LEOnidUKG
robots.txt это рекомендация для роботов. Пока у вас нет траста ваш сайт надо вылизывать. А потом уже всем пофигу.
danforth
Потому что в 2020 году на robots срать всем, кроме сеошников, застрявших в 90х годах. Или вы думаете журнал выкинут из выдачи, потому что у них robots «подозрительно маленький», span не закрыли, а ещё у них нет оглавления как в сайтах Пузата?
Всегда умиляли люди, которые фапают на техническую оптимизацию, имея скучный, не уникальный (рерайт-рерайта в 3 поколении) контент, с украденными картинками, и при этом ещё удивляются почему сайт получает 3 калеки в месяц (и те боты).
Vladimir SEO
Можно ли так делать для обычного смертного?
Конечно можно. Вообще без роботса спокойно можно жить
Solmyr
У меня в гугле 200000 страниц «проиндексировано несмотря на запрет в robots.txt» чихать им на роботс. Хотя meta на страницах вроде соблюдают.
donc
Потому что на нормальном сайте и не должно быть этого роботс тхт
Это костыль для криворуких ВМ. А Sitemap и так добавить можно.
ziliboba0213
У меня в роботсе только сайтмэп 🍿
Sitealert
Потому что журнал Хакер знает, что основное назначение robots.txt – массовая фильтрация хакерами сайтов с нужной CMS.
donc
массовая фильтрация хакерами сайтов с нужной CMS.
Ну это можно и по коду сделать. Анализируя названия папок стилей и тп. Их, в 99% не меняют. Даже если вырезают все упоминания, как на серче:
<link rel=»stylesheet» type=»text/css» href=»https://searchengines.guru/clientscript/vbulletin_css/standard_new.css» id=»vbulletin_css» />
Dmitriy_2014
Но даже поисковики рекомендуют его использовать и даже проверка синтаксиса в вебмастере есть, так и даже хакеры его используют правда всего в три строчки, и если его не сделать, то реально всякие так называемые дубли индексируются.
Я понимаю, что там крутым сайтам это не нужно, наверное, но даже у YouTube.com есть robots.txt, кстати с указанием на sitemap.xml.
donc
Но даже поисковики рекомендуют его использовать
То есть верить всему, что на заборе написано — твой предел?