1、影响蜘蛛抓取的因素(flash、cookies，javascript、需要登陆、框架、动态URL、session ID、各种跳转)，那么我们优化网站结构就是把这些肤著因素排除就可以。
屏爹罩散蔽网站动态的URl
robots文件
user-agent:*
disallow：/*?*
2、正常抓取，蜘蛛模拟抓取出来的内容和我们网站的内容一致。
3、非正常抓取结果，模拟蜘蛛抓取出来绵铲的内容比我们网站上显示的内容还多，那么代表我们网站存在隐藏文字。
4、非正常抓取结果，模拟蜘蛛抓取出来的内容比我们网站上显示的内容还少，那么代表我们网站上有一些地方是无法抓取到的。
1、使每个页面都有指向该页的链接。
2、每个页面都有指向首页的链接，让用户和蜘蛛能够通过链接回到首页。让每个页面的权重都集中到首页上，从而让首页排名更加靠前。
3、构建内链系统，我们可以用面包屑导航完成绝大部分的内链构建。
