老域名百度模拟抓取失败问题解决方案
近期有学员反馈他的域名使用百度模拟抓取的时候一直显示失败,试了N种方法都不行。而最近几天我上站的时候也遇到了相同的问题,百度后台验证的时候是可以通过的,正常情况下是模拟抓取也是可以通过的,但是模拟抓取失败。
因为用的是老米,点击抓取详情的时候发现百度抓取的还是原来域名的IP地址。
因为我知道百度为了提升爬虫的访问效率,有自己的DNS服务器,所以我就点击了更新IP,但是试了N次都不行。以前的经验是基本点击更新了就是OK的。
接着我就主动提交了整站的网址和sitemap地图,结果第二天再模拟抓取的时候就已经是正常的了。
结论,只要是主动提交可以提交成功以及sitemap的数据可以正常被百度提取,那么后续的百度抓取就是没有问题的。所以大家遇到相同的问题的时候可以尝试主动提交以及提交sitemap来更新你的IP。
那么会出现这种问题的都会发生在哪些阶段呢?
-
域名更换服务器IP的时候会出现
-
老玉米新上线的时候会遇到
这里还有一个注意的点,那就是针对百度的,由于sitemap的提交是有限制的,似乎每个站点就100份,每份50000条,所以基本一个站也就500万,因此最好是每一份都提交够50000条。当然了,小站点就不用关注这些。
因为神马的sitemap提交限额是10000条,当然了评级越高数量越多,所以有些egg pain,这种情况只能是每个搜索引擎单独提交了。
免责申明:本站所有资源收集于互联网,仅用于学习和研究,若用于违法,与本站无关。若有侵权,请联系客服删除。
相关文章
-
06-04最新营销型木门门业公司网站模板 铝合金门窗网站源码 织梦模板dede(带手机版)
-
06-04黑色背景 AI芯片科技/智能数码电子类网站源码织梦模板 [自适应手机端]
-
06-04最新仿拉勾网php源码百度网盘下载_thinkphp招聘网站源码
-
06-04微信支付宝免签支付系统/支付宝扫码转账/免签支付接口源码
-
06-042021最新护肤品化妆品商城网站源码 化妆品商城模板源码+支持微信商城分销+安装教程
-
06-032021新版ThinkPHP5盛大跑分平台源码免费下载 数据库打包
-
06-03PHP二开美化版站长技术导航网站源码
-
06-03天意代刷任务网站源码 V2.4运营版
-
06-03男神女神投票源码免费下载v5.4.11 带插件+安装说明+图片素材
相关评论
内容信息
发布 | 2021-04-14 12:45:23 |
浏览 | 557 次 |
分类 | 值得一看 |
Tags |
最新发表
热度:319
阿里云API轻量动态肺炎疫情网站源码
热度:471
【度小满金融UI】四月首发最新版仿度小满金融源码美化版
热度:482
【新版V8京淘唯拼抢单系统】20203月最新淘宝京东自动抢单系统 源码支持封装安卓苹果APP[ios+Android双端应用]
热度:519
【天龙八部单机服务端】2020沧笙踏歌新版桃花岛一键安装客户端[附安装搭建教程]
热度:307
【抖音去水印网站源码】PHP抖音在线去水印抖音无水印视频解析系统
热度:291
【植物大战僵尸2】最新修改版失落之城神秘埃及+无限钻石+电脑PC版
热度:462
【全新UI界面微星服务端】微星新UI代理价值6K完整源码,可自己替换下黑金版本[附视频安装搭建教程]
热度:517
最新app解析全网VIP视频源码 E4a全网影视源码带充值卡和网页后台功能
热度:289
【吉利扫雷红包源码】JAVA纯源码完整学习版带扫雷+牛牛+接龙+龙虎斗等多款游戏
热度:446
Layui信息探针php网站源码 带自定义设置探针页面+探针功能+QQ分享+通知邮箱等功能









