百度spider专家现场QA集锦：抓取建库篇

起源：上海J9集团网络 日期：2018-05-19 00:31 点击：

　　问：为什么收录量像坐过山车一样的，还有为什么有些网页今天在明天就没了?
　　答：百度会周期建库，且每个库的收录量是恒定的，你总是有新增，注定会再从库里裁减一些，归正总是维持那个库是满的。在建库的过程中，你会感触有颠簸。具体的怎么筛，哪个页面会留下哪个页面会裁减，这个战术是有好多的，他随着功夫的变动，收录的尺度战术也是在产生微调。
　　问：我们站点使用CDN加快会不会比力容易造成蜘蛛无法抓取?由于有时辰批改掉他绑定的什么器材。
　　答：若是要批改掉肯定要通知到上一级，此刻不存在这个问题，此刻你若是批改掉也能够解析掉，之前可能会存在这个问题。
　　问：你们百度自己也有一个CDN加快，对抓录排名有没有影响?
　　答：在使用CDN加快这个问题上，我们对所有站点因人而异。但我建议你使用技术能力强的CDN服务商，保障站点的不变和速度，百度会更喜欢。

　　问：刚才您说IP上的站点数不能太多，那CDN这种情况怎么办?
　　答：CDN的情况另说，若是我们鉴别出来是CDN的话不会受站点数量的影响，若是你是提供独立IP的话会有这样一些问题。

　　问：还是IP上站点数量的问题，若是是主域跟二级域名呢?也受数量限度?
　　答：我说的是独立域名。当然质量比力好的二级域名也能够以为是独立域名
　　问：多个域名，他有一样的一些内容，怎么建库?
　　答：若是是多域名在统一个主域下面有一样内容的话，不成能所有都建库，并且被建库的那个可能不是你但愿的那个，所以尽量不要有一样的内容。
　　问：刚才讲的IP若是是多域名的话，好几百个IP域名，此刻我们也用了CDN，依照刚才的说法，单个IP最多抓几多?1000万是说对站点还是对IP?
　　答：对IP，但1000万是我举例，不是现实的数据，这个数据不会分享出来的
　　问：此刻我的网站被好多蜘蛛爬，我想只让百度蜘蛛爬，百度蜘蛛IP几多?能设白名单么?
　　答：百度蜘蛛IP是不休变的，此刻网上简直有一些白名单的说法，临时是有效的，但不保障今后不会变，所以建议站点还是通过ua进行判断，我们百度站长平台上有有关的文章，你能够找一下。
　　问：若是我写robots只想禁掉动态链接的话，会不会影响动态参数前面正常链接的抓取?
　　答：不会的，你原来的页面还在，注定会抓。
　　问：好比我们一个域名，我们想把带?号的url全数禁掉，首页我们不要禁掉，怎么弄?
　　答：?前面有个*，后面再有个*就能够了。
　　问：我想相识，若是我此刻收录有5万，或很多长功夫能力把我原来收录5万沉新抓取一遍?
　　答：分歧站点不好说，一个是你站点做的很好，驰名度很响更新很快质量很好就会快;若是你的站点默默无闻，贡献很少，可能就会很慢。
　　问：就是差不多的情况，或许。
　　答：这个没有人能估出来。
　　问：百度站长平台上罕见据提交的工具，我们实时提交，你们也会实时抓取吗?
　　答：不会，他会有一层判断。此刻只是通知你提交成功，后面什么时辰抓，什么时辰建库没有，我们在钻研要不要把这个分享出来。
　　问：我网站有一些列表页，都没有链接，不安百度抓不到
　　答：此刻百度站长平台的站内搜索工拥有一个绿色收录通路，在那里提交种子页，我们就知路的。
　　问：提交种子页面必必要用站搜?
　　答：是的。
　　问：若是说页面里url出格多的话，蜘蛛会不会有选择性的进行抓取?
　　答：不会，他城市一个不漏给你提出来，但会把JS、CSS这样的链接给过滤掉。但请把稳，全数抓取过来之后会进行筛选，并不是所有城市建库。
　　问：此刻好多网站都有自己的站内搜索，城市产生站内搜索了局页，百度不喜欢搜索了局页的话，我们用这个会不会对我们有影响?只是不喜欢还是对我们网站会有惩治
　　答：蜘蛛会去抓，抓完之后沉要是提取里面的链接。若是只有一两条这样的页面质量不好问题不大，若是整体质量较差，有可能受到惩治。
　　问：新出的时效性文章其时没有被收录，后期是否还会被收录?
　　答：会
　　问：站点每天最高爬虫几多次?
　　答：这个其实说不好，有的站点我们一天会抓一两千万，有的站点只抓几个、几十个，看你的规模和质量，并且这个抓取量也是会凭据网站的情况进行调整的。