Перейти к содержанию
Sky-fi

Бегет блокировал ботов за спам с сайта

Рекомендуемые сообщения

Немного о том, когда письмо решает все :)

Обратился клиент, с просьбой проанализировать сайт. Естественно, развернул я свой инструментарий на ПК до состояния шелеста ОЗУ, кормлю софту урл сайта - в ответ молчок. 200 ОК - и финиш. Находит 1 страницу. Долго ломал голову, и не один я, ставил прокси, пытался запустить краулера с внутренней страницы, выставлял лимиты на скорость и потоки. Ноль. Помогло одно - изменение User-agent. Эта проблема мне показалась несколько нетипичной для сайтов вообще, и я решил разобраться.

Вот что обнаружилось в панели управления клиента

png&tknv=v2&size=1366x637

Решился вопрос одним письмом в саппорт. Ответили, что блокировка была наложена за рассылку спама при помощи форм обратной связи, и поскольку это было давно, блокировку они сняли. И порекомендовали поставить капчу.

Выводы: ищите проблему там, где ее легко отследить, в важных узлах работы ресурса. Мне показалось странным то, что проблема в юзер-агенте - стоило подключиться как Googlebot, к примеру, и проблема исчезала. Это мне показалось явной блокировкой ботов со стороны сервера. Поэтому и возникла идея проверить настройки сервера и написать в тп.

  • Повысить репутацию 2

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

@Sky-fi редкий случай, я с таким никогда раньше не сталкивался. Было дело не мог скриминг фрогом прокраулить сайт из за запрета в роботсе, насколько помню он указания в нем смотрит. А что по самому сайту, в плане SEO проблем не было?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Для публикации сообщений создайте учётную запись или авторизуйтесь

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти


О проекте

Web@district это проект, который объединил специалистов из разных областей сайтостроения и интернет-маркетинга для того, чтобы пользователи этого ресурса могли удовлетворять свои потребности в знаниях, находить исполнителей, заказчиков или просто приятно пообщаться.

info@webdistrict.pro

Тут может оказаться каждый из вас.:)

логотип в футрере

Copyright © Web@District 2018      При копировании материалов с сайта активная гиперссылка ссылка на источник обязательна
×