fc91309a

Сканирование сайта в Screaming Frog

Screaming Frog SEO Спайдер – один из наиболее значительных приборов в запасе оптимизатора. Данный сервис просто незаменим при тесте интернет-ресурса, в связи с тем что дает возможность синхронизировать сбор и структуризация важнейших данных о веб-сайте, этим самым значительно форсируя работу.

Если вы занимаетесь формированием своего веб-проекта, либо движением веб-сайтов заказчиков, то Screaming Frog скорее всего вам знаком. А применяете ли вы подходящие возможности на 100%? В данной публикации мы приготовили предельно доскональное руководство по применению этого прибора. Предполагаем, вы можете отыскать тут очень много нового и необходимого.

Приступая к сканированию сайта, принципиально предварительно установить, какую информацию вы желаете получить, как высок веб-сайт, и какую часть сайта вам надо исследовать, чтобы получить доступ к необходимым данным.

Временами для крупных ресурсов лучше ограничить принтер подразделом URL-адресов, чтобы получить отличный представительный пример данных. Это делает габариты документов и вывоз данных не менее контролируемыми. Мы разберем это подробнее ниже.

Для распознавания всего сайта, включая все дочерние домены, вам надо привнести незначительные перемены в конфигурацию спайдер, чтобы начать.

Изначально Screaming Frog сканирует лишь субдомен, который вы ввели. Все особые субдомены, с которыми встречается спайдер, будут рассматриваться, как наружные сноски. Для обхода особых поддоменов, нужно поменять опции в меню Спайдер Configuration. Отметив Crawl All Subdomains, вы удостоверьтесь, что SEO Спайдер сканирует все сноски, которые он встречает, на иные поддомены на вашем веб-сайте.

Если вы запускаете сканирование из некоторой подпапки либо подкаталога и еще хотите, чтобы Screaming Frog исследовал весь веб-сайт, установите флаг Crawl Outside of Start Folder.

Изначально SEO Спайдер настроен лишь на сканирование подпапки либо подкаталога, который вы сканируете. Если вы желаете исследовать весь веб-сайт и запускать из некоторого подкаталога, удостоверьтесь, что для конфигурации задан осмотр вне базовой папки.

Чтобы сберечь время и место на диске, помните о ресурсах, которые способны вам не потребоваться при сканировании. Снимите флажки с картинки, CSS, JavaScript и SWF-ресурсов, чтобы снизить размер обхода.

Если вы желаете ограничить сканирование одной папкой, просто введите URL-адрес и нажмите Start, не меняя никаких опций изначально. Если вы перезаписали первоначальные опции изначально, скиньте опции изначально в меню File.

Если вы желаете начать сканирование в некоторой папке, а надо продлить сканирование в других частях субдомена, в обязательном порядке выберите Crawl Outside Of Start Folder в опциях Спайдер Configuration, до того, чем заводить ваш точный исходный URL.

Чтобы ограничить осмотр некоторым комплектом поддоменов либо подкаталогов, можно применять RegEx, чтобы установить эти требования в параметрах Include либо Exclude в меню Configuration.

Проверьте собственное постоянное выражение, чтобы удостовериться, что оно ликвидирует предстоящие страницы до начала распознавания:

В приведенном ниже образце мы планировали посмотреть лишь подпапку команды на elit-web.ru. Опять таки, применяйте закладку Test, чтобы проверить несколько URL и удостовериться, что RegEx верно настроен для вашего требования inclusion.

Это прекрасный способ распознавания огромных веб-сайтов. Действительно, Screaming Frog советует данный способ, если вам надо поделить и исследовать веб-сайт с огромным количеством обратных сносок.

Изначально, Screaming Frog настроен на сканирование всех фотографий, JavaScript, CSS и флэш-файлов, с которыми встречается SEO Спайдер. Чтобы исследовать (crawl) лишь Php, вам надо будет снять выделение с пунктов Check Images, Check CSS, Check JavaScript и Check SWF в меню Спайдер Configuration.

Старт SEO Спайдер с данными опциями без галочки, на самом деле, даст вам перечень всех страничек вашего сайта, на которые есть внешние сноски, показывающие на них.

После окончания распознавания пройдите на закладку Internal и процедите итоги по Php. Нажмите клавишу Export, и у вас будет общий перечень в формате CSV.

Если вы предрасположены применять одни опции для любого распознавания, Screaming Frog сейчас дает возможность вам оставить опции конфигурации:

В добавление к снятию флага Check Images, Check CSS, Check JavaScript и Check SWF, вы также пожелаете снять флаг Check Links Outside Folder в опциях Спайдер Configuration. Старт SEO Спайдер с данными опциями без флага, даст вам перечень всех страничек в вашей исходной папке (если они не считаются страничками, на которые нет внешних либо внутренних сносок).

Применяя Screaming Frog для идентификации всех поддоменов на этом веб-сайте, пройдите в Configuration > Спайдер и удостоверьтесь, что избрана функция Crawl all Subdomains. Как и при сканировании всего сайта, это сможет помочь исследовать любой поддомен, сопряженный с обходом сайта. Все-таки, это далеко не обнаружит поддоменов, которые не сопряжены сносками.

Применяйте Google, (усиление для интернет-браузера Scraper Chrome) для идентификации всех проиндексированных поддоменов, у нас есть возможность отыскать все индексируемые субдомены для этого домена.

Начните заводить в поисковике: site: инструктор поиска в Google, чтобы ограничить итоги для вашего точного домена. После этого применяйте инструктор поиска -inurl, чтобы свести поисковые результаты, удалив основной домен. Будет перечень поддоменов, которые были проиндексированы в Google, в котором не будет главного домена.

Применяйте усиление Scraper, чтобы вытянуть все итоги в Google Sheet. Просто щелкните левой клавишей мыши URL-адрес в поисковой выдаче, нажмите Scrape Similar и экспортируйте в Google Doc. Заходите на сайт https://max1net.com/samye-sochnye-funkcii-programmy-screaming-frog-seo-spider-dlya-seoshnika/ если нужно больше информации по данной теме.

В отдельных случаях старые компьютеры могут не обрабатывать число URL-запросов изначально за секунду. Мы советуем подключить ограничение на число сканируемых URL-адресов за секунду, чтобы на всякий случай не накручивать работу компьютера сайта.

Предпочтительнее, чтобы заказчик понимал, когда вы хотите исследовать веб-сайт, на пример, если у него вполне может быть оборона от незнакомых пользовательских представителей. С одной стороны, им может потребоваться привнести в белый перечень ваш IP либо пользовательский представитель (User-Agent), до того, чем вы будете исследовать веб-сайт. В слабейшем случае можно послать очень много запросов на компьютер и ненамеренно закончить работу сайта.

Чтобы поменять скорость распознавания, выберите Спид в меню Configuration и во всплывающем окне выберите предельное число потоков, которые должны работать синхронно. В данном меню вы также можете выбрать предельное число URL-адресов, запрашиваемых за секунду.

Оставить комментарий