SEO技术是未来创业者和销售行业从业人员不可缺少的一门技术,seo技术是电子商务的驱动力,西安SEO技术-企尚SEO技术博客将开启你的学习之旅!come on!

蜘蛛是如何爬取内容的

内容优化 企尚网络 990℃ 0评论

蜘蛛先去抓取百度白名单的网站或者一些信任度非常高的站点和页面(例如:一些高权重网站和网站的首页),在抓取这些网页的内容时发现一些指向另外一些一些页面的链接。蜘蛛会把这些链接保存在自己的数据库里面,然后再根据抓取顺序依次来抓取这些网页。

1、蜘蛛抓取网页的规则:
对于蜘蛛说网页权重越高、信用度越高抓取越频繁,例如网站的首页和内页。蜘蛛先抓取网站的首页,因为首页权重更高,并且大部分的链接都是指向首页。然后通过首页抓取网站的内页,并不是所有内页蜘蛛都会去抓取。
搜索引擎认为对于一般的中小型站点,3层足够承受所有的内容了,所以蜘蛛经常抓取的内容是前三层,而超过三层的内容蜘蛛认为那些内容并不重要,所以不经常爬取。
2、如何看蜘蛛的抓取?
通过iis日志可以看蜘蛛爬取了哪些内容,iis日志有百度蜘蛛、谷歌蜘蛛等。从iis日志里卖弄分析得出蜘蛛的类型、抓取时间、抓取的页面、抓取内容的大小以及返回的页面代码,200代表抓取顺利。

原创文章,转载请注明: 转载自西安SEO

本文链接地址: 蜘蛛是如何爬取内容的



转载请注明:西安SEO » 蜘蛛是如何爬取内容的

喜欢 (0)or分享 (0)

您必须 登录 才能发表评论!