Перейти к содержанию
suffix

Так ли нужен sitemap ?

Рекомендуемые сообщения

Тема для пятницы :) 

Но на  самом деле считаю что при простой структуре небольшого сайта с доступностью до любого документа в разумное число кликов с главной страницы, при быстром ответе сервера поисковым роботам и при правильно  настроенном Last-Modified не нужен sitemap от слова совсем.

У меня на сайте sitemap нет и с индексацией никаких проблем нет. Более того из-за того есть и amp и турбо-страницы всё в индекс мгновенно залетает и на моём небольшом сайте поисковые боты по 2000 -3000 посещений в сутки на пару организовывают.

  • Повысить репутацию 1

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

@suffix Возникает и другой вопрос - а что сложно его сделать?

Тем более, что ЯВМ и консоль гугла ругаются при его отсутствии.

  • Спасибо 1

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Только что, Borzoid сказал:

@suffix Тем более, что ЯВМ и консоль гугла ругаются при его отсутствии.

Не ругаются - а предупреждают, более того Гугл прямо говорит что sitemap необязателен.

Кроме того правильный sitemap где учитываются изменения Last-Modified вот так вот чтобы прямо из коробки ой как не везде встанет. И тогда только вред от него будет.

  • Повысить репутацию 1

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

@Borzoid ну в яндекс вебмастере я считаю есть смысл ориентироваться на критические и фатальные ошибки, остальное опционально. У меня например есть тексты на сайте не по ключам и к ним не прописываю дескрипшн - а вебмастер ругается. Но я то знаю, что зря:)

@suffix при перечисленных в стартпосте условиях полностью согласен о ненадобности сайтмепа. Проблемы могут возникать на сайтах от нескольких десятков тысяч страниц и сложной структурой - тогда sitemap.xml пригодится

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
1 час назад, suffix сказал:

более того Гугл прямо говорит что sitemap необязателен

Покажите, где говорит? К слову, в консоли Гугла кол-во страниц, проиндексированных из загруженных в сайтмап на новом сайте, никогда не соответствует действительности. Консоль не поспевает за своими ботами. )) 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Cправка в СёчКонсоли:

Нужен ли мне файл Sitemap?

Если страницы файла корректно связаны друг с другом, поисковые роботы могут обнаружить большую часть материалов. Тем не менее, с помощью файла Sitemap можно оптимизировать сканирование сайта, особенно в следующих случаях:

Размер сайта очень велик. Поисковые роботы Google могут пропустить недавно созданные или измененные страницы.

Сайт содержит большой архив страниц, которые не связаны друг с другом. Чтобы они были успешно просканированы, их можно перечислить в файле Sitemap.

Ваш сайт создан недавно, и на него указывает мало ссылок. Робот Googlebot и другие поисковые роботы сканируют Интернет, переходя по ссылкам с одной страницы на другую. Если на ваш сайт указывает мало ссылок, его будет сложного найти.

На сайте используется мультимедийный контент, он отображается в Новостях Google или использует другие аннотации, совместимые с файлами Sitemap. Из файлов Sitemap поисковая система может получать дополнительную информацию для показа в результатах поиска.

Даже если вы создали файл Sitemap, это не гарантирует, что Google будет сканировать и индексировать все ваши страницы, так как эти процедуры выполняются при помощи сложных алгоритмов. В большинстве случаев эти файлы приносят пользу и не приводят к ошибкам.

Изменено пользователем suffix
  • Повысить репутацию 2

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
4 минуты назад, suffix сказал:

В большинстве случаев эти файлы приносят пользу и не приводят к ошибкам.

Во! Ключевая фраза! ))

1 час назад, suffix сказал:

и на моём небольшом сайте поисковые боты по 2000 -3000 посещений в сутки на пару организовывают.

Забыла спросить, Вы хоть боретесь с этими любопытными поисковыми ботами? Это ведь большая нагрузка. Сама переживала как-то с блогом такой повышенный интерес ботов. И, кстати, не смотрела еще, где теперь в Яндексе делаются эти настройки по ограничению сканирования взамен почившего в бозе Crawl-delay.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

 

3 минуты назад, nadkhachaturova сказал:

И, кстати, не смотрела еще, где теперь в Яндексе делаются эти настройки по ограничению сканирования взамен почившего в бозе Crawl-delay.

вот здесь они http://prntscr.com/jgnx7c

  • Повысить репутацию 1

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

@Windakolit что значит жить спокойно. )) Если бы еще какие-то гады не парсили сайты время от времени, вообще бы красота была. 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

@nadkhachaturova вот мне тоже интересны способы ограничения парсинга с сайта, желательно на уровне чайника:)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
20 минут назад, nadkhachaturova сказал:

Забыла спросить, Вы хоть боретесь с этими любопытными поисковыми ботами? Это ведь большая нагрузка.

Даже когда я рекламирю пост в группе ВК со ссылкой на статью на сайте и из-за кривой реализации amp в ВК получается 10-20 тысяч запросов к сайту за пару часов -- нагрузка на сервер не превышает 1% 😊. Так что совсем не боюсь (Сайт живет на выделенном сервере в гордом одиночестве)

  • Спасибо 1

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
8 минут назад, Windakolit сказал:

желательно на уровне чайника

Не, на уровне чайника не получится. Программно можно запретить сканирование, но у меня не те объемы, чтобы прибегать к таким мерам. Просто бесит, когда вдруг всплеск трафика, а там десятка два заходов с отказами. На сайтах с небольшой посещаемостью заметно, а где трафик нормальный, можно только огорчиться выросшими процентами отказов. Помню, когда по-взрослому блог бомбили, писала Платонам. Ответили, что переживать не стоит, потому что поисковые системы умеют отличать нормальных пользователей от ботов. Теперь у них интеллект еще больше вырос. Кстати, тогда я совершила ошибку, начав блокировать по ip такие визиты. В итоге заблокировала и поисковых ботов. Страницы начали вылетать из индекса пачками. С тех пор на блокировки табу. И еще вспомнила случай про блокировки. Клиент запустил рекламу через Elama, а они установили кликфрог. Неделю не могли разобраться, почему трафик упал с тысячи практически до нуля. Убрала скрипт - и тут же все нормализовалось. 

3 минуты назад, suffix сказал:

Сайт живет на выделенном сервере в гордом одиночестве

Тогда за Вас можно не беспокоиться.

  • Повысить репутацию 1

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
3 часа назад, Windakolit сказал:

@nadkhachaturova вот мне тоже интересны способы ограничения парсинга с сайта, желательно на уровне чайника:)

На шаред хостинге по простому никак, на vds просто сетки ip Амзона, OVH, hetzner, лизавеб и т.п. блокируете и 90% парсеров отвалятся. 

Объясняю почему на шаред практически никак - дело в том что если блокируете в htaccess или в модуле cms то нагрузка всё равно есть. Ибо запросы обрабатываются ! А вот на vds (или выделенном сервере) просто правилами iptables блок - и нагрузки нет.

Изменено пользователем suffix
  • Повысить репутацию 1

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Для публикации сообщений создайте учётную запись или авторизуйтесь

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти


О проекте

Web@district это проект, который объединил специалистов из разных областей сайтостроения и интернет-маркетинга для того, чтобы пользователи этого ресурса могли удовлетворять свои потребности в знаниях, находить исполнителей, заказчиков или просто приятно пообщаться.

info@webdistrict.pro

Тут может оказаться каждый из вас.:)

логотип в футрере

Copyright © Web@District 2018      При копировании материалов с сайта активная гиперссылка ссылка на источник обязательна
×