sitemap X怎么用来抓取网站

 时间:2024-10-13 21:08:46

1、首先我们安装sitemap X这个软件,并且打开

sitemap X怎么用来抓取网站

2、打开之后,系统会提示我们新建工程,并选择组,这些只是为了分类清晰,随便填写即可。

sitemap X怎么用来抓取网站

3、在页面中我们可以看到工程名称,base地址,抓取文件目录深度等选项。按提示正常填写,重点是base地址请填写网站首页,抓取深度以网站的层次结构为主,可以选择最大值。然后下一步

sitemap X怎么用来抓取网站

4、在新的页面,我们选择生成 sitemap页面的格式,最大网址数量,每页的权重值,继续下一步。

sitemap X怎么用来抓取网站

5、在页面中,选择是否生成robots.txt文件,以及文字中我们允许与不允许的页面。然后直接点击抓爬即可。

sitemap X怎么用来抓取网站

6、抓爬成功之后,页面会显示已经抓取的网址,可以直接选择生成文件,然后上传到劐聂赞陶根目录,首页添加sitemap链接,即可让百度可以及时抓取网站内整体内容

sitemap X怎么用来抓取网站
  • 企业网站流量趋势和流量来源怎么看
  • 如何为网站图片添加alt标签?
  • 使用ivx实现移动端单选功能的经验总结
  • CSS使div内容水平垂直居中
  • html和css注释的用法
  • 热门搜索
    热血传奇手游攻略 灭火器压力表怎么看 深圳美食攻略 神之墓地2.8c攻略 武林外传小游戏攻略 科学减肥一个月瘦15斤 黑痣是怎么形成的 嘉实基金怎么样 红色大衣搭配 明星减肥法