搜索引擎不抓取页面 服务器端的五个问题

发布时间:2021-09-09 

点击量:21

1、错误的封禁

在百度的robots.txt的更新上,如果多次点击“检测并更新”就会出现时常可以更新,但是又时常无法更新的问题。如此一来:不应当被收录的东西,在robots.txt上禁止的被收录了,又删除就很正常了。那么它的问题是什么呢?并非服务器负载过度,而是因为防火墙错误的将部分Baiduspider列入了黑名单。

2、服务器异常

常规的服务器就不说了,大家都知道的,北上广的一般都不错。不过有一些特殊服务器,想必绝大多数的站长都不知道吧?例如西部数码的“港台服务器”就很有趣,真的是港台的吗?本身机房在国内,还算什么港台?为了逃避备案而用一个港台的IP,数据全部在国内。

这样有什么不好呢?我们会发现:站点的服务器是经过CDN的,哪怕是你上传的一张图片,都会显示为“302状态码”,访问速度是提升上去了,可是这样利于SEO吗?

3、获取不到真实IP

规模较大的网站,一般都会使用CDN加速,但是有些站点不仅仅对“设备”使用了CDN加速,而且还对Spider使用了加速功能。后的结果是什么呢?如果CDN节点不稳定,那么对网站spider来讲,这个问题将是致命的。

很多大型站点开放CDN的原因就是容易被攻击,这个时候如果不做“蜘蛛回源”就可想而知了。你的站点做了CDN了吗?请登录百度站长平台查看一下spider是否可以抓取真实IP地址吧!

标签:

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注

在线客服
服务热线

服务热线

021-37516500

微信咨询
上海贝派工业铝型材有限公司
返回顶部
×上海贝派工业铝型材有限公司

截屏,微信识别二维码

微信号:17717449001

(点击微信号复制,添加好友)

打开微信

微信号已复制,请打开微信添加咨询详情!
No:87044
关闭

用微信“扫一扫”加好友咨询