seo优化 > seo教程 > seo技术 阅读:84

百度蜘蛛爬行介绍

爬行广义上是指慢慢地向前行走,但是在网络术语中却并不是这个意思。爬行一词来源于百度蜘蛛,特指百度蜘蛛通过网站并留下痕迹的过程。

蜘蛛爬行

seo3.jpg

在做谷歌搜索引擎时发现,谷歌很容易做收录,那是因为谷歌搜索引擎在爬行并判断方面做得没有百度那么严谨。而百度蜘蛛也会做到快速收录并展示的效果,但是它却不会急于展示出来,而是通过一段时间的审核才会展示在搜索引擎上。

1.确定式爬行

确定式爬行是指当你的网站进行更新之后,百度蜘蛛会来你的网站进行第一次爬行,并确定你的网站定位,但是不会马上就将收录的页面展现出来,如图所示。

百度蜘蛛2.jpg

2.稳定式爬行

稳定式爬行一般是该网站上线了一段时间,如半年左右并且成功地渡过了沙盒期。百度蜘蛛此时就会每天到该网站进行爬行,并在第一时间展示和收录该网站的页面。

3.爆发式爬行

这种模式一般会出现百度重新定义算法,对所有网站进行大洗牌的时候。百度剔除不符合规则的网站,并将一些高质量的网站给予更好的排名。

4.爬行与抓取

通过词汇我们可以知道是先爬行后抓取。百度蜘蛛在爬行网站的时候,往往会优先判断robots文件里的内容,判断哪些文件是禁止抓取的。而这个robots文件的定义是根据国际规范标准而定的,正所谓无规矩不成方圆,百度也不例外。

5.爬行轨迹

百度蜘蛛爬行的轨迹往往从网站的首页开始,而且会根据首页的链接进行抓取。根据W3C规则,所有的网站分为三个板块,分别是头部、正文和底部。而首页头部的导航部分则会引导百度蜘蛛进行栏目页的抓取,首页的文章列表部分则会引导百度蜘蛛抓取文章页。

为了保证全站的畅通性,于是百度给出了网站内链(即内部链接)和锚文本的定义。


beylze教程学院,一个分享编程知识和seo优化知识的网站。跟着beylze一起学习,每天都有进步。

通俗易懂,深入浅出,一篇文章只讲一个知识点。

文章不深奥,不需要钻研,在公交、在地铁、在厕所都可以阅读,随时随地涨姿势。

文章不涉及代码,不烧脑细胞,人人都可以学习。

当你决定关注beylze,你已然超越了90%的其他从业者!