浏览器访问HTTP服务器,会返回一个状态码,代表服务器对本次请求的响应状态。搜索引擎会根据返回的状态码做相应的处理,特别是出现服务异常的时候,要特别注意返回的状态码是否合适。
如果一切正常,通常返回的状态码是200
。
NOT FOUND。代表页面没有找到。百度会删除这个页面,并且短期内再次发现该url链接,也不会抓取。
因此,返回404要谨慎。除非页面永久删除,不要轻易返回404。
Service Unavailable。代表服务不可用。百度会认为是页面暂时不可访问,比如网站临时维护、服务器压力过大等情况导致。百度暂时不会删除这个页面,短期内会再次访问;如果长期返回503,才会删除这个页面。
由此可知,如果临时关闭网站,不要返回404,要返回503。
Forbidden。代表页面禁止访问。如果是新URL,百度暂时不会抓取,短期内会再次访问;如果是已收录的URL,暂时也不会删除,同样会短期内再次访问。如果长期返回403,则会删除这个页面。
对于需要审核的文章,可以先返回403。等审核通过后,再返回200。对于需要暂时下线,进行审核、修改的文章,也应该返回403,待修改完成后,再返回200。
Moved Permanently。永久重定向。站点迁移、更换域名和改版时,要使用301重定向。百度会将原来收录的URL地址换成301重定向后的URL地址。