seoreviews.ru@gmail.com

 

Заказать аудит
ТОП-3 SEO-компаний
1. Digital Rocket
2. Корпорация РБС
3. Оптимизм
Выберите компанию
Ingate Авентон Demis Group Russian Promo СЕО-Импульс Green Promo Клик A-POSITION 1st SEO EnerGy SEO.RU Intelsib TRINET Magic Trust Group ALTWeb Group Эдмаркет Webit Apollo-8 Промо Пейдж Darvin Studio Idea-promotion VIPRO РАСКРУТКА.РУ Webexpert ТриЛан ПерфектСЕО Gatto - интернет-маркетинг Promo Digital Group Синица Атом Медиа Групп АдвертПро i-Media SEOLABPro Shogo Lime.media Зекслер Эвристика Aida Media MarketArts ARTOX media Кислород Seo Update Альфа.Сайт Semantica Liqium ВеоМедиа Веб-студия Bitrixlab Группа компаний MegaSeo SEOXL UnMedia Орех ООО "Экса Медиа" Компания "ИДЕЯ!" Advans IT PLANET GROUP Cleverteam Rocket Business Limtek iSEO Feel In Голден студио kSeo PromoRu Агентство системных интернет решений Wezom Студия интернет-решений ELiTES Time Digital Олимп ADVER MEDIA Dial NewGlobal Creative SEO Seo-house ORIDIS Тактика BRAND-MAKER Клюква IndexTop1
Ваша заявка отправлена, спасибо!
×
Главная / Новости рынка / Google: как заблокировать индексацию файлов Robots.txt и Sitemap

Google: как заблокировать индексацию файлов Robots.txt и Sitemap

Сотрудник Google Джон Мюллер дал совет, как заблокировать файлы robots.txt и sitemap, чтобы не допустить их индексации.

Совет Мюллера был вызван твитом другого специалиста из Google Гэри Илша, который заметил, что файл robots.txt может быть проиндексирован поисковиком, как и любой другой URL. Хотя в robots.txt содержатся специальные указания для сканирования, нет ничего, что могло бы помешать Google его проиндексировать.

…robots.txt с точки зрения индексации — это просто URL, содержание которого может быть проиндексировано. Он может быть канонический или дедуплицированный, как и любой другой URL. Он имеет особое значение для сканирования, но его индексный статус вообще не важен.

В ответ своему коллеге Джон Мюллер написал, что HTTP-заголовок X-Robots-Tag может использоваться для того, чтобы заблокировать индексацию файлов robots.txt и sitemap. Также он заметил:

«Если ваши файлы robots.txt или sitemap ранжируются по обычным запросам (не сайт), это является, как правило, признаком того, что у вас действительно очень плохой сайт и его нужно срочно улучшить».

Так что если специалисты столкнулись с проблемой, когда их файл robots.txt ранжируется в результатах поиска, блокировка с помощью HTTP-заголовка X-Robots-Tag может стать хорошим краткосрочным решением. При этом следует сразу же начать решать более серьезные проблемы с сайтом, которые могут негативно сказаться в долгосрочной перспективе, рекомендует Мюллер.

Напомним, ранее сотрудник Google Мартин Сплитт сообщил, что поисковик не использует поведенческие метрики для ранжирования, в частности, dwelling time и время пребывания на странице.

Источник: Search Engine Journal

Источник: seonews.ru

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Можно использовать следующие HTML-теги и атрибуты: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>