网站地图刮板插件

提取URL从站点地图的

网站地图刮板插件

  • 免费包含scrapebox
  • 多螺纹连接
  • 代理支持
  • 自动机支持
  • 深爬行
  • 可调节连接
  • HTTPS支持
  • URL过滤器

 

 

Sitemap Scraper

在scrapebox网站地图刮刀插件可免费提供scrapebox,它允许你提取网址从.xml或个.axd的Sitemaps的。站点地图通常列出所有的网站页面,因此能够收集属于通过网站地图网站每个URL是一个更容易和更快的方式来收集这些信息,而不是从使用各种网站的皇冠体育,它收获:运营商。

网站地图刮板插件也有一个“深爬行”功能在那里将访问在网站地图中列出的每个网址,然后获取任何进一步的新的URL对未包含在网站地图这些页面列出。偶尔网站只列出他们的站点地图中的最重要的网页,所以深爬行可以深挖提取数以千计的额外的URL。

你也可以使用关键字过滤器来进行爬什么网址,而不是爬行控制,这是理想的大型网站可能包含数千个像日历不必要的网页或你希望避免.pdf文档文件等。如 看到这里 你也可以选择跳过的URL使用https避免在站点地图文件中列出的网站的安全部分

一旦Sitemaps网址的提取,它们可以查看或导出到文本文件,以便进一步使用scrapebox如检查所有的URL的网页级别,建立一个HTML网站,提取网页标题,描述和关键字,检查谷歌的缓存日期甚至在扫描列表中scrapebox恶意软件检查工具插件,以确保您所有的网页是干净的。 scrapebox也有 网站地图创建者 它使您能够创建的URL列表的网站地图。

 

网站地图刮刀教程

查看我们显示行动网站地图刮刀视频教程。这是包含在scrapebox免费的插件,并且也与我们的Automator插件兼容。

我们有数百个scrapebox视频教程。

查看YouTube频道