Перейти к содержанию
  • Накапливайте за вашу активность поинты и делайте за них полезные покупки!

    Поинты начисляются за создание тем и за посты. Количество набранных поинтов вы можете посмотреть в вашем профиле. Список товаров, доступных для продажи можно увидеть, если перейти в меню по пункту "Магазин". Более подробную информацию можете прочитать в теме "О магазине".

vold57

robots.txt и служебные папки

Рекомендуемые сообщения

Практически на всех сайтах закрывают для индексации служебные папки.
Как небольшой пример из одной из CMS:
Disallow: /admin/
Disallow: /cgi-bin/
Disallow: /datastore/
Disallow: /plugins/

Вопрос к почтенной публике такой - нафига?
Если роботы не могут прочитать содержимое папки, зачем ее закрывать?

 

  • Спасибо 1

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
7 минут назад, vold57 сказал:

Если роботы не могут прочитать содержимое папки, зачем ее закрывать?

Чтобы помочь роботам определить, нужно этот адрес добавлять в индекс, к примеру. У гугла вообще с этим сложности - может и с ютм-метками закинуть в выдачу, и служебные страницы ему нравятся. Тем не менее, сейчас все больше доступов требуется роботам - уже требуют доступа к файлам шаблона,. Дальше попросят создавать учетку в админке для гуглоботов :) возможно, скоро закрытие служебных папок перестанет быть актуальным.

Что важно учитывать - сайт преспокойно будет работать и приносить трафик и вовсе без роботса, но одна строчка в нем может деиндексировать все страницы.

  • Повысить репутацию 2
  • Спасибо 1

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

@Sky-fi не исключаю, что в будущем с роботсом ПС поступят так же, как с директивой host поступил Яндекс.

  • Спасибо 2

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

@vold57 Очень даже может быть. Только нужно придумать еще удобный способ обращения к отдельным ботам, остальное мета-тегами можно делать.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Я думаю служебные папки закрывать стоит для сохранения "краулингового бюджета" - то есть более эффективного использования того объема страниц, которые бот может просканить за один подход. Конечно тут надо смотреть от того, как много страниц закрывают такие директивы, если счет идет на единицы или десятки то эффекта не особо много.

Немножко юмора насчет роботса. На днях делал аудит сайта и там был занятный роботс, я долго в нем рылся. Вызвали улыбку директивы, закрывающие сайтмеп и -внимание на экран - запрещающие индексировать сам robots.txt:D

  • Спасибо 3

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
12 часов назад, Windakolit сказал:

Вызвали улыбку директивы, закрывающие сайтмеп и -внимание на экран - запрещающие индексировать сам robots.txt:D

А может для того, чтобы его прочитать, не нужно его индексировать? Ему ж не нужно попадать в выдачу.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

На днях делала аудит в рамках акции, написала про некорректный роботс, а вчера, смотрю, опять человек тему поднял о большом количестве загруженных страниц Яндексом. Открываю его роботс - не исправлено, о чем писала. Оказывается, мое сообщение кануло в лету с форума из-за форс-мажора, и он не успел сохранить. В личной переписке выяснилось, что содержимое роботс взято стандартное, из статьи известного многим блогера, а написана эта статья если не в прошлом веке, то в позапрошлом. А дальше прикол. Открыл чел роботс на моем блоге и нашел там такое! Тоже с позапрошлого века, видимо. Пошла исправила. ))

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
В 02.05.2018 в 01:02, Abram сказал:

А может для того, чтобы его прочитать, не нужно его индексировать? Ему ж не нужно попадать в выдачу.

тут ведь получается парадокс - роботс создан для запрета и разрешения индексации, но самого его можно запретить только кодом ответа сервера, допустим входом только по логин паролю

9 минут назад, nadkhachaturova сказал:

А дальше прикол. Открыл чел роботс на моем блоге и нашел там такое! Тоже с позапрошлого века, видимо. Пошла исправила. ))

У меня роботс тоже стандартный друпаловский по умолчанию. Там много лишнего на мой взгляд но я не трогаю - главное нужно закрытое, и важное открыто. Хотя мне по сути и закрывать то нечего:)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Только что, Windakolit сказал:

У меня роботс тоже стандартный друпаловский по умолчанию

Меня такие роботс больше всего настораживают, что на друпале, что на опенкарт, что на любом другом движке, кроме ВП, потому что я их не знаю. Поэтому выход вижу один - иду в серч консоль и смотрю заблокированные ресурсы. Если сайт не был добавлен, приходится ждать сбора информации недели две. А так довольно часто бывает - длительный патронаж после ремонта и установки ssl. Бонусом. ))

  • Спасибо 2

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

@nadkhachaturova с консолью полностью согласен - считаю только по ней и надо ориентироваться при составлении роботса. Благо сейчас в кабинетах вебмастеров работать одно удовольствие - много подсказок и полезных инструментов. Я ориентируюсь так - гугл не ругается на заблокированные ресурсы, нет мусора в индексе например в яндексе, все нужные страницы в индексе - значит все хорошо:)

  • Повысить репутацию 1

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
25 минут назад, nadkhachaturova сказал:

А дальше прикол. Открыл чел роботс на моем блоге и нашел там такое! Тоже с позапрошлого века, видимо. Пошла исправила. ))

А если бы народ до заказа аудита открывал мой сайт, то ни за что бы не заказывал.:D

  • Спасибо 2

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Только что, Windakolit сказал:

Благо сейчас в кабинетах вебмастеров работать одно удовольствие - много подсказок и полезных инструментов.

Согласна полностью. Никогда не понимаю наездов вебмастеров в блоге Яндекса на ведущих. За последнее время столько внедрено новшеств! Не нравится - не пользуйся, а то на каждую новость "Лучше бы исправили то-то и то-то", как будто не понимают, что с метрикой работают совсем не те, кто работает с поисковой инженерией. 

Только что, vold57 сказал:

А если бы народ до заказа аудита открывал мой сайт, то ни за что бы не заказывал.

О чем и речь. Мы подтверждаем народную мудрость о босом сапожнике. ))

  • Спасибо 1

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

@Windakolit еще нужно просканировать сайт. Возможно, есть адреса, которых еще в индексе нет, но могут попасть, так как не запрещены.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

@vold57 тут зависит конечно от конкретной ситуации - если статистика собирается давно на сайт и никаких доработок в последнее время не было то достаточно и там глянуть. Но если я делаю аудит то без лягушки конечно его не провожу:)

  • Спасибо 1

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Для публикации сообщений создайте учётную запись или авторизуйтесь

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти


О проекте

Web@district это проект, который объединил специалистов из разных областей сайтостроения и интернет-маркетинга для того, чтобы пользователи этого ресурса могли удовлетворять свои потребности в знаниях, находить исполнителей, заказчиков или просто приятно пообщаться.

info@webdistrict.pro

Тут может оказаться каждый из вас.:)

логотип в футрере

Copyright © Web@District 2018      При копировании материалов с сайта активная гиперссылка ссылка на источник обязательна
×