新做的网站百度只收录了一条服务器确跑满了为什么？

新网站上线之后，百度只收录1条页面，代表站点还处于百度沙盒观察期，页面还没大规模释放收录；但服务器CPU、内存、带宽直接跑满，并不是百度正常爬虫抓取导致的居多，很多时候是恶意爬虫、攻击、程序漏洞、后台bug、垃圾访问带来的资源消耗，真实百度蜘蛛的抓取量不会把新站服务器打满。下面拆解原因、排查步骤、解决办法。

创新互联公司是一家专注于成都网站设计、成都网站建设与策划设计,友谊网站建设哪家好?创新互联公司做网站,专注于网站建设十年,网设计领域的专业建站公司;建站业务涵盖:友谊等地区。友谊做网站价格咨询:028-86922220

一、核心原因分类

1、恶意爬虫、采集爬虫、垃圾蜘蛛（最高发）

新站一上线，全网各类采集器、扫描器就会扫描域名。

各类盗版采集爬虫、漏洞扫描工具、安全扫描机器人，疯狂遍历全站所有链接、404页面、测试页面，每秒大量请求；

这些不属于百度官方爬虫，百度蜘蛛对新站会控制抓取频率，不会短时间大量请求；

现象：百度站长后台看到的百度蜘蛛抓取量很低，只有几十次，但是服务器访问日志成千上万条，大量陌生UA、陌生IP在疯狂访问。

结果：百度只放出来1条收录，服务器资源被爬虫占满。

2、网站程序代码本身问题

1）PHP代码低效、循环死循环、数据库慢查询

页面虽然只有少数被百度收录，但**不管页面收不收录，只要有访问就会执行代码**。

模板代码写得差，没有缓存，每次访问都重复查询数据库；

后台遗留测试接口、调试页面，被外部扫描访问，反复执行重型SQL；

CMS插件冗余，未关闭调试模式，每次请求全量加载数据库。

哪怕每天真实访客很少，少量访问就可以把CPU、数据库打满。

2）未删除测试页面、备份页面、安装目录

建站完成没有删除install安装目录、测试页、备份文件夹，扫描器批量遍历这些文件，大量请求消耗服务器。

3、CC攻击、恶意访问

域名公开之后，就会受到小规模CC探测攻击，大量虚假IP并发请求网页，耗尽CPU、带宽。

特征：访问日志大量不同IP短时间访问同一个页面，没有真实浏览器特征。

4、服务器配置/环境问题

1）服务器配置过低，网站代码没做缓存，哪怕几十次并发就直接跑满；

2）数据库配置不合理，MySQL连接数打满，拖垮整机负载；

3）带宽跑满：大量爬虫下载图片、静态资源，带宽占满，表现为服务器负载高。

5、误判：百度蜘蛛？（概率很低）

新站百度会严格限制抓取配额，沙盒期不会猛抓。

区分方法：看服务器日志UA，真实百度蜘蛛 UA含有 `Baiduspider`；很多伪造爬虫伪装成Baiduspider，属于假百度爬虫。

重点：收录数量 ≠ 请求访问量。收录是百度处理完页面之后才放出结果；抓取是爬虫访问你的服务器。哪怕只收录1条，爬虫（恶意）可以访问成千上万次页面。

二、快速排查操作步骤（按顺序做）

1. 查看服务器访问日志，分清是什么来源在消耗资源

导出Nginx/Apache访问日志：

统计访问量最高的IP、UA；

分辨哪些是真实百度蜘蛛、哪些是采集器、扫描器、伪造蜘蛛。

如果大量非Baiduspider的请求，就是恶意爬虫在消耗资源。

2. 去百度搜索资源平台（站长平台）查看抓取统计

看【抓取频次】，看百度真实抓取次数，如果抓取次数很低，说明高负载跟百度无关。

3. 检查数据库慢日志

看是否存在慢查询，确认是不是程序SQL拖垮服务器。很多新站，就几个人访问，数据库查询耗时巨大直接CPU跑满。

4. 检查是否遗留安装包、测试页面、备份文件

`install.php`、`test.html`、备份压缩包，全部删除。

三、落地解决办法

1. 封禁恶意爬虫、伪造蜘蛛

Nginx配置UA黑名单，拦截扫描器、采集器；

对高频异常IP做限速、拉黑；

开启robots.txt，屏蔽无用目录；robots不能挡CC、恶意扫描，只能引导正规蜘蛛。

2. 开启全站缓存（非常关键）

静态页面开启页面缓存，Redis/Opcache，减少PHP和数据库重复执行。没有缓存的PHP程序，每一次访问都要查数据库，极易跑满服务器。

3. 优化数据库，清理冗余插件

停用没用的CMS插件，修复慢查询；限制MySQL最大连接数。

4. 安全防护

接入WAF防火墙（阿里云WAF、云服务商自带防护），拦截CC攻击、漏洞扫描请求。

5. 区分百度蜘蛛，合理设置抓取频率

在百度站长平台，适度调整抓取频次，**不要调太高，新站沙盒期低频次更友好**。同时识别伪造Baiduspider，拉黑假百度爬虫IP。

6. 服务器升级评估

如果代码优化完成后，负载依旧高，考虑升级CPU/内存。

四、为什么百度只收录1条？

服务器负载高会反过来加重收录困难：服务器经常跑满、响应超时，百度蜘蛛来抓取的时候页面打不开、超时，百度就不会释放更多收录，形成恶性循环：

恶意爬虫打满服务器 → 百度蜘蛛访问超时失败 → 只收录1条甚至不收录。

创新互联服务器跑满的总结

新站仅收录1条，服务器跑满，绝大多数不是百度正常抓取造成，多半是恶意扫描、采集爬虫、程序无缓存、数据库慢查询。优先看访问日志定位访问来源，做缓存、拉黑恶意IP、开启WAF防护。服务器恢复稳定之后，百度蜘蛛抓取正常，后续才会逐步增加收录。

文章题目：新做的网站百度只收录了一条服务器确跑满了为什么？
网站地址：http://www.hdfswf.com/article/dciijgh.html