Перейти к содержанию
Авторизация  
Windakolit

Гугл: заблокированные в robots.txt страницы могут индексироваться, если на них есть ссылки

Рекомендуемые сообщения

Джон Мюллер из Google предупредил, что заблокированные в robots.txt страницы могут продолжать индексироваться, если есть направленные на них ссылки. Это может стать проблемой, потому что Google может увидеть, что на этих страницах нет контента из-за блокировки индексации.

Мюллер сказал, что если у вас есть контент на сайте, который вы не хотите показывать Гуглу, лучшим направлением действий было бы использование метатега noindex.

Эта тема возникла во время последней видеовстречи с вебмастерами, где один владелец сайта спросил, достаточно ли прописать disallow для страницы, индексировать которую нет необходимости.

Полный ответ Мюллера ниже:

Цитата

 

Вы должны держать в уме одну вещь - если одна из ваших страниц заблокирована в robots.txt, теоретически возможно, что кто-то случайно поставит ссылку на эту страницу. И если они сделают это, может случиться так, что мы проиндексируем этот URL безо всякого контента по причине блокировки в роботсе. То есть мы могли бы не знать, что вы не хотите, чтобы эти страницы действительно были проиндексированы.

В то же время если они не заблокированы посредством robots.txt,  вы можете поставить метатег noindex на эти страницы. И если кто-то случайно поставит ссылку на них и мы случайно проиндексируем эту ссылку, подумав "возможно здесь есть что то полезное", то сразу после этого мы бы узнали, что эти страницы не нужно индексировать и мы можем просто пропустить их при индексации.

Так что в том случае, если у вас есть что-то на этих страницах, что вы не хотите допустить к индексации, не закрывайте их в роботсе - используйте вместо этого noindex.

 

Источник https://www.searchenginejournal.com/google-pages-blocked-robots-txt-will-get-indexed-theyre-linked/

  • Повысить репутацию 1

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
39 минут назад, Windakolit сказал:

То есть мы могли бы не знать, что вы не хотите, чтобы эти страницы действительно были проиндексированы.

То есть в роботсе стоит disallow, а они могли бы не знать, что мы действительно не хотим... Весело там у них в Гугле. )))

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Да, логика странная, особенно если помнить про их слова, что контент это король. Какой он король когда заблокированный контент может индексироваться только по ссылке? Видимо технически работает так, что читаются данные в первую очередь на самой странице (метатег noindex), а роботс ткст уже потом смотрится, причем не является приоритетным для блокировки.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Проблема с закрыванием страниц в роботсе для Google была всегда, сколько я помню. Думаю, многие видели ситуацию, когда по каким-то причинам страницу заблокировали в роботсе, а в выдаче она все равно остается, в описании сниппета - "Описание недоступно из-за ограничений в файле robots.txt".

Эффективнее использовать мета-тег.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
32 минуты назад, Sky-fi сказал:

Думаю, многие видели ситуацию, когда по каким-то причинам страницу заблокировали в роботсе, а в выдаче она все равно остается, в описании сниппета - "Описание недоступно из-за ограничений в файле robots.txt".

Это вижу, когда смотрю индексацию сайта. Но не видел, чтобы по запросу выдавалась страница с таким сниппетом.:)

  • Повысить репутацию 1

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
3 минуты назад, vold57 сказал:

Но не видел, чтобы по запросу выдавалась страница с таким сниппетом.

У меня бывало по витальным запросам, но довольно давно. Если не ошибаюсь, раньше лепрозорий выдавался так по одноименному запросу. Сейчас нет такого, проверил.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
21 минуту назад, vold57 сказал:

Это вижу, когда смотрю индексацию сайта. Но не видел, чтобы по запросу выдавалась страница с таким сниппетом.:)

У меня бывало по разным запросам, часто наверное смотрел именно индексацию конкретной страницы. И причем не уверен что на них были ссылки. впрочем, не проверял. Но чаще всего если страница закрывалась то она была ненужная и неважная, и ссылок на нее быть не должно было:)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

По поводу роботса мы уже говорили в какой-то теме, что для него дело пахнет керосином. Похоже в будущем он повторит судьбу директивы Host.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Для публикации сообщений создайте учётную запись или авторизуйтесь

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти

Авторизация  

О проекте

Web@district это проект, который объединил специалистов из разных областей сайтостроения и интернет-маркетинга для того, чтобы пользователи этого ресурса могли удовлетворять свои потребности в знаниях, находить исполнителей, заказчиков или просто приятно пообщаться.

info@webdistrict.pro

Тут может оказаться каждый из вас.:)

логотип в футрере

Copyright © Web@District 2018      При копировании материалов с сайта активная гиперссылка ссылка на источник обязательна
×