Перейти к содержанию
  • Накапливайте за вашу активность поинты и делайте за них полезные покупки!

    Поинты начисляются за создание тем и за посты. Количество набранных поинтов вы можете посмотреть в вашем профиле. Список товаров, доступных для продажи можно увидеть, если перейти в меню по пункту "Магазин". Более подробную информацию можете прочитать в теме "О магазине".

Windakolit

Тормоза Screaming Frog

Рекомендуемые сообщения

Постоянно работаю со Screaming Frog SEO Spider, но на крупных проектах вроде многостраничников, интернет магазинов ,каталогов и тп начинаются жуткие тормоза. Сейчас в очередной раз столкнулся с этим на одном из проектов. Работал и в режиме оперативной памяти и в режиме записи на диск, одинаковые проблемы. Сейчас заказал SSD диск, хочу проверить, будет ли программа лучше работать при записи на него.

Может у кого то есть опыт решения проблем с этим софтом?


SEO консультации от профессионала

Мои услуги по SEO и юзабилити

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Тоже столкнулся с такой проблемой, даже мощный компьютер тормозит на больших сайтах в обоих режимах, работать во время сканирования порой невозможно. 

Что можно попробовать сделать:

1) Задать программе высокий приоритет в Диспетчере задач http://skrinshoter.ru/s/310120/z8BP8jdy?a

2) Если работа в режиме оперативной памяти, увеличить размер памяти, используемой программой: http://skrinshoter.ru/s/310120/O9N3PN32?a

3) Не запускать одновременно другие программы, не открывать много вкладок в браузере

4)Понял, что лучшее решение, - при возможности запускать программу на другом компьютере. 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

у меня 16 гигабайт оперативной памяти на ПК, 6 ядерный процессор Райзен 5, 8 ГБ выставлены в лягушке (выставил бы больше ,но нельзя), но все равно зависает. Не представляю какой мощности должен быть компьютер чтобы крупные проекты выдерживать. 

В официальном гайде здесь прочитал про SSD https://www.screamingfrog.co.uk/how-to-crawl-large-websites/ 

Как сканировать очень большие сайты

Цитата

1) Use a machine with an internal SSD, and switch to database storage mode (‘Configuration > System > Storage’).

1) Используйте компьютер с внутренним SSD диском и смените режим на сохранение базы данных (Конфигурация-Система-Хранилище)

 

Цитата

The default crawl limit is 5 million URLs, but it isn’t a hard limit – the SEO Spider is capable of crawling more (with the right set-up). As an example, a machine with a 500gb SSD and 16gb of RAM, should allow you to crawl up to 10 million URLs approximately.

Обычный краулинговый лимит это 5 миллионов URL, но это не жесткое ограничение - SEO Spider способен сканировать больше (при правильных настройках). Например, компьютер с SSD на 500 Гб и 16 Гб оперативной памяти способен просканировать до 10 миллионов URL примерно

В выходные должен придти SSD диск, отпишусь здесь по результатам потом, как установлю и проверю


SEO консультации от профессионала

Мои услуги по SEO и юзабилити

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Установил диск, запустил прогу на нем, скорость увеличилась но не сильно. Понял что надо виндовс переставить на него. Установил, программу запустил - так компьютер на больших файлах не виснет, но периодически подтармаживает все таки. Но все равно конкретно в моем случае пробивается долго. Возможно из за жестких ограничений со стороны сервера сайта, приходится чекать через Google Bot.

Пока пишу на данный момент осталось 2%, пробивает 1% несколько часов на последних 10 процентах

Урлов около 270 000 , но из них html процентов 45, остальное картинки. Урлов столько, но ссылок анализируемых гораздо больше, около 50 миллионов. Имею ввиду внутренние ссылки между страницами сайта


SEO консультации от профессионала

Мои услуги по SEO и юзабилити

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Для публикации сообщений создайте учётную запись или авторизуйтесь

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти


О проекте

Web@district это проект, который объединил специалистов из разных областей сайтостроения и интернет-маркетинга для того, чтобы пользователи этого ресурса могли удовлетворять свои потребности в знаниях, находить исполнителей, заказчиков или просто приятно пообщаться.

info@webdistrict.pro

    Администрация

  • vold57 Администратор
  • Windakolit Администратор

 http://vold57.com/         http://windakolit.com/  

reklama-na-forume.png

логотип в футрере

Copyright © Web@District 2018-2020      При копировании материалов с сайта активная гиперссылка ссылка на источник обязательна
×