今天闲来没事查看自己的这个新博客:魏星博客的百度收录情况,
出现了一个怪异的想象,昨天网站上的线,今天百度竟然收录了,
天哪,真不敢相信,以前不等个半个月百度是不会收录的,最诡异的
是,我添加了robots.txt 到自己的根目录,目的就是让百度不搜索到
我的网站,因为这几天还在修改当中,但是百度却收录了,然后查了下
资料,看到水煮鱼的一篇文章,讲的也是这个问题,还举了一些例子,
然后我知道了,百度不是真的遵守robots.txt协议,百度啊百度,让人
欢喜然人忧啊,对于这件事我是该高兴呢,还是该生气呢??
百度遵守 Robots.txt 协议吗?-魏星博客