seoreviews.ru@gmail.com

 

Заказать аудит
ТОП-3 SEO-компаний
1. Digital Rocket
2. Корпорация РБС
3. Оптимизм
Выберите компанию
Ingate Авентон Demis Group Russian Promo СЕО-Импульс Green Promo Клик A-POSITION 1st SEO EnerGy SEO.RU Intelsib TRINET Magic Trust Group ALTWeb Group Эдмаркет Webit Apollo-8 Промо Пейдж Darvin Studio Idea-promotion VIPRO РАСКРУТКА.РУ Webexpert ТриЛан ПерфектСЕО Gatto - интернет-маркетинг Promo Digital Group Синица Атом Медиа Групп АдвертПро i-Media SEOLABPro Shogo Lime.media Зекслер Эвристика Aida Media MarketArts ARTOX media Кислород Seo Update Альфа.Сайт Semantica Liqium ВеоМедиа Веб-студия Bitrixlab Группа компаний MegaSeo SEOXL UnMedia Орех ООО "Экса Медиа" Компания "ИДЕЯ!" Advans IT PLANET GROUP Cleverteam Rocket Business Limtek iSEO Feel In Голден студио kSeo PromoRu Агентство системных интернет решений Wezom Студия интернет-решений ELiTES Time Digital Олимп ADVER MEDIA Dial NewGlobal Creative SEO Seo-house ORIDIS Тактика BRAND-MAKER Клюква IndexTop1
Ваша заявка отправлена, спасибо!
×
Главная / Новости рынка / Google может индексировать заблокированные страницы, не сканируя их

Google может индексировать заблокированные страницы, не сканируя их

Google может индексировать URL, заблокированные в robots txt, не сканируя их. Об этом рассказал представитель компании Джон Мюллер у себя в Twitter.

Один из пользователей поинтересовался у Мюллера, почему в поиске отображаются заголовки и описания страниц по сайту, полностью заблокированному в robots.txt. В ответ Мюллер сообщил, что URL могут индексироваться без сканирования, даже если они заблокированы в robots.txt.

Пользователь также поинтересовался, почему отображаются заголовки и ссылки, если URL не сканируются. Мюллер ответил, что заголовки обычно берутся из ссылок, но сниппетов в данному случае быть не должно.

Ситуацию также прокомментировал консультант по поисковому маркетингу Барри Адамс. Он отметил, что robots.txt – это инструмент для управления сканированием, а не индексированием. Для предотвращения индексации нужно использовать соответствующую директиву в robots или HTTP-заголовки X-Robots-Tag. Однако чтобы Googlebot увидел данные директивы, ему нужно позволить сканировать страницы.

Напомним, на днях Google обновил свой инструмент для проверки оптимизации сайтов для мобильных устройств.

Источник: Search Engine Journal

Источник: seonews.ru

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Можно использовать следующие HTML-теги и атрибуты: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>