网站网页都被屏蔽了为什么还能被收录到

　　这个问题困惑我很久了，为什么我网站的网页被robots屏蔽了之后，我从网站日志分析后还会能看到被百度抓取和收录呢？不是说屏蔽了以后就不会被抓取和收录了吗？这些页面都是我们老板千叮万嘱不让展现在百度的，现在都不知道怎么交差了，求解释。

　　我经常遇到这样的情况，很多人都来问我：“为啥屏蔽了的页面还被抓取？”这里我简单的说下吧，一般有两种情况：

　　第一种是：对已经收录的网页使用robots屏蔽，老网页按照robots规则的删除时间会很长，这个时候可能会造成百度没有遵守robots规则。

　　第二种情况是：如果你屏蔽的页面或栏目存在大量的外链，那么这个网页或栏目的URL会被百度收录，但内容不会被百度索引，一般这样的多见于首页域名。当然，如果你连URL都不想被收录，可以针对蜘蛛返回404即可。

    本文来源于互联网，如有疑问请及时联系站长资源平台官方客服，谢谢！