分类
SEO/SEM

baidu spider SSL 301的问题

百度的爬虫对于SSL网站 还是优先爬http协议 而不是https
对于混合的 HTTP转向SSL协议的 301转向 对于百度爬虫 好像问题比较严重
查看最近一周的日志 都是第一个日志的样子 不爬内容 判断301 直接停了

而且这种现象很多
追随301爬下个链接的 行为很少

所以如果是靠百度过日子的 还是考虑清楚在SSL吧

测了4个独立的不同服务器的网站
都一个现象

由棋仙

人生就是一场旅行,不必在乎目的地,在乎的,只是沿途的风景,和看风景的心情.

发表评论

电子邮件地址不会被公开。 必填项已用*标注