当你查看一个网站快照时,很多时候是不是会遇到这样的一个提示“由于该网站的robots.txt文件存在限制指令,系统无法提供该页面的内容描述?这是不是搜索引擎的抓取问题?不是的,这是由于网站重新上线时的一个屏蔽操作导致的,前几天在诊断一个网站就发现了是robots的问题,关于如何解决,郑州seo彤哥以下会说到,现在先分析为什么会产生这种现象:

出现robots.txt文件存在限制指令的快照,是因为网站上线前或者测试的时候,网站的内容、标题都还要不断的进行修改,为了不让搜索引擎抓取到频繁的修改,所以在robots.txt上做了屏蔽搜索引擎的收录,即disallow:/的限制,彤哥平时也有这个习惯,在一个网站正式上线前,都会做全站屏蔽;网站正式上线后,加以外链、友链和提交的引导,搜索引擎的蜘蛛过来抓取页面,发现地址存在,但是被屏蔽了抓取,为了遵循互联网的抓取规则,不得已快照上只能显示这句提示,“由于该网站的robots.txt文件存在限制指令,系统无法提供该页面的内容描述”,这是产生的缘由。 
那么怎样解决robots.txt文件存在的限制指令呢?
1、找到根目录下的robots.txt文件,去掉这一句disallow:/,解除屏蔽抓取;

2、下面一步很关键,就是到站长平台下去更新robots文件,告诉搜索引擎你的网站已经对它解除了屏蔽,可以来抓取我的网页内容了,主动对搜索引擎示好,快照更新过来之后,现象就会消失了。 

在优化过种中一个很小的细节就会让你的工作变得非常的麻烦,robots.txt是网站上线后必须检查的文件,要不然连抓取都被屏蔽了,很难谈以后的抓取和收录了。还有一点就是百度更新的有点慢,虽然解除了屏蔽,但还是要过一段时间才收录,这段时间千万别怀疑自己而把文件改来改去。
Robots文件更新规则后,每个搜索引擎对于这个Robots文件的更新,做出反应的时间是不同的。
一般来说谷歌的更新速度最快,百度次之,稍微比较准确一点的时间是,谷歌会在24小时内针对规则修改作出反应,而百度的反应周期为一周之内。

如果想加快百度更新的速度,可以在站长平台提交链接,推荐的提交链接方式有三种:主动推送(实时)、自动推送、sitemap。其中主动推送技术门槛较高,如果站长不懂代码的话彤哥建议你采用sitemap网站地图的形式提交链接。

发表评论

电子邮件地址不会被公开。