文章图片
新手站长在网站建设的时候 , 因为一些操作 , 导致正常的网站无法被搜索引擎爬虫访问 , 进而使搜索引擎认为该页面是死链接 。 除了页面无法打开 , 一下的几个点都可以导致网站死链的产生 。
以下小编就给出一些死链的产生情况 , 本次文章素材来自百度公开课搜索引擎课程 , 具备相对的权威性 。 其他搜索引擎同样可以参考该篇文章来进行设置 。
减少死链的产生 , 是从事SEO工作工作者必修课 。
HTTP/HTTPS设置不当引起死链
问题场景:1.HTTP可访问 , HTTPS不可访问
2.HTTP不可访问 , HTTPS可访问
建议:整站行为一致 , 保证所有的URL正常访问 , 另外百度方面不建议HTTP与HTTPS共生 。
封禁引起死链
问题场景:1.用户可以正常访问 , 爬虫不能 。 (爬虫抓取的是错误的页面)
一些网站因为特殊性 , 导致用户可以正常访问 , 但是当爬虫访问时 , 却返回一个错误的页面 。
2.PC端可访问 , 搜索引擎APP不能访问
搜索引擎爬虫可以访问PC端页面 , 但是不能访问APP 。 百度官方的公开课说到这个APP访问 , 暗指是支持APP内访问的一个分析 , 来作为一个综合评估参考 。 所以 , 不屏蔽百度APP对网站的访问 。
3.DNS封禁
有些特定的DNS服务商会封禁搜索引擎爬虫来抓取域名的内容 。 这种在少数 , 毕竟目前主流域名厂商 , 已经主流的DNS厂商都没有做DNS封禁 。
4.服务器站点策略封禁
有些服务器自带的安全策略会屏蔽百度蜘蛛的抓取 , 这种情况会产生死链(网页URL链接 , 但是无内容) 。 当这种情况在整个网站出现 , 会导致搜索引擎判断网站为一个劣质网站 。 会被降权 。
建议:合理的使用站长资源工具 , 来诊断站点是否能正常抓取
识别百度爬虫(双向DNS解析认证)解除封禁
对spider不公开内容设置robots协议封禁/设置死链 , 导致返回404
不建议使用额外的技术手段封禁百度爬虫 。
对百度APP可以访问
DNS变更引起死链
问题场景:站点更新DNS解析 , 将域名的IP变更 , IP1变为IP2 , 中间有时间差 。
当站点的更换域名解析的IP后 , 因为有些DNS并不能做到立即响应解析(一般为24小时) 。 我们拿24小时为例 , 中间有曾时间差 , 导致搜索引擎蜘蛛无法抓取 , 会评定为死链 。
这个时候可以预留4-5天的缓存期 , 让爬虫来更新这个DNS
建议:更换DNS后 , 使用站长资源平台工具来抓取测试 , 查看网站是否能正常抓取 。
不建议频繁更换DNS的IP , 如必须变更请 , 给爬虫抓取预留缓冲时间 。
【交易|网站建设时,这些情况可能会导致死链的产生】本文由 CCCOO猫咪网(www.cccoo.com)站长原创 , 转载请注明出处 。
- 三星Galaxy|网络时代,晒娃也是一种吸引客户的手段!比100万广告费都有效!
- realme|宝华韦健家庭影院音响套装评测:旧时光味道的环绕声道!
- 研讨会|“后时代”新零售如何破圈?
- YouTube|反击起效了?时隔三个月,俄市场传来新消息
- NVIDIA|矿工死心吧 NVIDIA称显卡挖矿已经过时:显卡价格还得降
- realme|realme大动作不断,发布重磅新品的同时,旗下手机迎来至香时刻
- 电热水器|电热水器在洗澡时是否要断电呢?
- 算法|什么时候买手机最划算?记住这4个时间,不花一分冤枉钱
- 企业培训现在比以往任何时候都更加重要。|公司在线员工培训软件使用的6种方式
- 智能手机|红米1699元性能小金刚即将开卖 “金牌快递”到位:1小时送达