Перейти к содержанию
  • Накапливайте за вашу активность поинты и делайте за них полезные покупки!

    Поинты начисляются за создание тем и за посты. Количество набранных поинтов вы можете посмотреть в вашем профиле. Список товаров, доступных для продажи можно увидеть, если перейти в меню по пункту "Магазин". Более подробную информацию можете прочитать в теме "О магазине".

Авторизация  
vold57

Как быстрее всего удалить страницы из индекса?

Рекомендуемые сообщения

В соседней теме был задан вопрос "Как заставить урлы типа "site.ru/?фывфывфыв" отдавать 404 ответ?"

В связи с этим предлагаю обсудить тему удаления страниц из индекса более широко.

Как быстрее всего удалить страницы из индекса:
настроить 404 ответ сервера,
прописать canonical,
использовать Disallow в файле robots.txt,
прописать noindex в метатэге,
другие варианты.
?


Самоуверенность любителей - предмет зависти профессионалов

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Исходя из моей практики, кроме вышеперечисленного есть еще варианты:

  • 401, 403, 410 ответы сервера. 401 и 403 чуть отличаются но суть одна - запрос требует авторизации. 410 говорит ПС что страница удалена навсегда и не появится (в отличие от 404, который ПС продолжат проверять еще месяцы после удаления)
  • 301 или 302 редиректы на другие страницы. Опять же в плане исключения страниц не сильно отличаются, считается что 301 вечный редирект а 302 временный, но суть одна. Из моей практики по редиректам страницы уходят максимум за пару недель из индекса, особенно если их прогнать сервисами индексации для ускорения процесса
  • Есть инструменты удаления в вебмастерах, Удаление страниц из поиска в Яндекс Вебмастере и Удаления в Google Search Console - но там надо чтобы страницы соответствовала определенным требованиям, например отдавала 404 ответ
  • Чисто теоретически, чтобы уж все варианты указать - загнать страницу под бан, например тем же Роскомнадзором или DMCA жалобой:) Ну или другими нарушениями 

На мой взгляд идеальный вариант это

  1. Ставим ненужным страницам 410 статус ответа сервера
  2. Прогоняем их одним из сервисов ускорения индексации
  3. В Вебмастерах удаляем или списком страницы или по префиксу

В идеале такая связка должна помочь удалить контент в течение 1-2 суток


SEO консультации от профессионала

Мои услуги по SEO и юзабилити

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
В 19.04.2021 в 14:12, vold57 сказал:

настроить 404 ответ сервера,
прописать canonical,
использовать Disallow в файле robots.txt,
прописать noindex в метатэге,

  • 404 по моей практике долго обрабатывается, в Гугле спустя месяцы можно видеть, в Яндексе для среднего сайта в рамках месяца
  • Каноникал срабатывает тоже примерно в рамках месяца.
  • Robots.txt срабатывает от нескольких недель и могут оставаться материалы в индексе Гугла по его прихоти (часто есть внешняя ссылка на страницу). 
  • Мета роботс ноиндекс срабатывает лучше всего но тоже не сразу, хотя точно лучше robots.txt в Гугле (Google и сам рекомендует этот вариант)

SEO консультации от профессионала

Мои услуги по SEO и юзабилити

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

@Windakolit, по скорости я тоже за мета роботс ноиндекс.

Вопросы сейчас вызывает каноникал. И дело не во времени срабатывания, а вообще в стабильности срабатывания этого способа. 


Самоуверенность любителей - предмет зависти профессионалов

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Насчет стабильности - в Яндекс Вебмастере стабильность низкая. Постоянно видел как страницы закрытые через каноникал всплывают в вебмастере как обычные страницы без ошибок. А потом снова неканоничные, и такая пляска постоянно

Пример

image.png


SEO консультации от профессионала

Мои услуги по SEO и юзабилити

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
39 минут назад, Windakolit сказал:

Постоянно видел как страницы закрытые через каноникал всплывают в вебмастере как обычные страницы без ошибок. А потом снова неканоничные, и такая пляска постоянно

Я тоже постоянно наблюдал такое. 

image.png

В итоге на страницах пагинаций прописал мета роботс noindex. Но проблема не решилась. В Октябре 2020 noindex уже был прописан. 


Самоуверенность любителей - предмет зависти профессионалов

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

https://yandex.ru/support/webmaster/robot-workings/canonical.html#canonical__not-use

Цитата

Случаи, когда канонический адрес не учитывается

Робот Яндекса не учтет канонический адрес, если:

На момент обхода неканонические страницы более полно отвечают на запрос пользователя, и их контент существенно отличается от канонических. Если вы уверены, что такие страницы не будут полезны пользователям в поиске, запретите индексирование в файле robots.txt.

Канонический адрес недоступен для робота — перенаправляет на другую страницу или закрыт от индексирования. Это значит, что он не сможет участвовать в поиске. Тогда вместо канонического адреса может участвовать неканонический, если он доступен для робота.

В качестве канонического адреса указан URL в другом домене или поддомене.

Указано несколько канонических адресов.

Указана цепочка канонических адресов. Например, для адреса example.com/1 каноническим адресом является example.com/2, в то время как для адреса example.com/2 указан канонический адрес example.com/3.

Очень размытая формулировка:) Часто вижу ситуации когда пагинации вот таким образом прыгают. Выходит Яндекс считает что страницы пагинации более полно отвечают на запрос, чем основные страницы например разделов?


SEO консультации от профессионала

Мои услуги по SEO и юзабилити

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
6 минут назад, Windakolit сказал:

Очень размытая формулировка:) Часто вижу ситуации когда пагинации вот таким образом прыгают. Выходит Яндекс считает что страницы пагинации более полно отвечают на запрос, чем основные страницы например разделов?

Или

7 минут назад, Windakolit сказал:

их контент существенно отличается от канонических.

Интересно, разный набор анонсов на другие страницы это существенное отличие в понимании Яндекса? 


Самоуверенность любителей - предмет зависти профессионалов

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Вот тут и кроется загадка:)

С пагинацией например такая проблема - перестаешь закрывать ее и Яндекс ее кидает в недостаточно качественные страницы. То есть непонятно, более это важные страницы или нет. Я как то практиковал размещение разных текстов на страницах пагинации - такие страницы давали трафик и насколько помню в недостаточно качественные не попадали


SEO консультации от профессионала

Мои услуги по SEO и юзабилити

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Ну, чтобы постараться, чтобы страницы пагинации не попадали в некачественные, это нужно немного заморочиться. Тайтлы, описания и H1 сделать уникальными по сути, а не формально, когда отличаются только порядковым номером, ну и тексты. Вопрос только в том, чтобы были ключи, под которые захочется продвигать страницы пагинаций. 

У Яндекса дурные манеры. Сначала проиндексировать то, что не нужно и ты ему об этом указал, а потом выкидывать страницы как некачественные.  


Самоуверенность любителей - предмет зависти профессионалов

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Для публикации сообщений создайте учётную запись или авторизуйтесь

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти

Авторизация  

О проекте

Web@district это проект, который объединил специалистов из разных областей сайтостроения и интернет-маркетинга для того, чтобы пользователи этого ресурса могли удовлетворять свои потребности в знаниях, находить исполнителей, заказчиков или просто приятно пообщаться.

info@webdistrict.pro

    Администрация

  • vold57 Администратор
  • Windakolit Администратор

 http://vold57.com/         http://windakolit.com/  

reklama-na-forume.png

логотип в футрере

Copyright © Web@District 2018-2020      При копировании материалов с сайта активная гиперссылка ссылка на источник обязательна
×