服务器连接数没打满、磁盘 IO 和使用率也正常，但是所有查询请求全部挂住、超时失败，这种场景最常见的根因就是系统句柄先耗尽了，很多人排查的时候习惯优先看连接、CPU、内存、磁盘这些指标，很容易漏掉文件句柄这个监控项，句柄包括文件句柄、socket 句柄、管道句柄，只要进程打开的句柄数量触达系统或者进程的上限，新的查询想要创建连接、打开文件、新建网络套接字都会直接失败，哪怕机器还有大量空闲资源，查询也会直接卡住，表现就是整体服务不可用，但是底层硬件资源看起来都很健康。
一、句柄耗尽和其他瓶颈现象对比
| 瓶颈类型 | 典型指标 | 现象特征 |
|---|---|---|
| 句柄耗尽 | 进程 fd 数逼近 limit 上限，连接数、磁盘使用率正常 | 查询批量挂、新建连接失败，老连接可能还能短暂存活，重启进程立刻恢复 |
| 连接数打满 | TCP 连接数达到配置上限 | 新建连接直接被拒绝，连接监控告警触发 |
| 磁盘满 | 磁盘使用率 100% | 日志无法写入、数据落盘失败，写查询优先报错 |
| CPU / 内存瓶颈 | CPU 跑满、内存 OOM | 请求缓慢、服务卡顿，不一定全部查询直接挂死 |
二、句柄耗尽的常见诱因清单
- 代码存在句柄泄漏：数据库连接、文件、网络流创建之后没有 close，循环调用之后句柄持续堆积
- 第三方 SDK、中间件客户端没有做连接回收，闲置连接不释放，持续占用 fd
- 系统默认 nofile 配置太低，业务并发上来之后很快触达上限
- 慢查询长时间持有游标、事务不提交，游标句柄长期不释放
- 日志组件、埋点组件持续创建大量临时文件、socket，缺少自动回收机制
- 子进程 fork 后没有继承或者关闭无用句柄，句柄数量快速膨胀
三、快速排查步骤
- 先确认进程句柄数量：用 lsof、ls /proc/[pid]/fd 统计当前进程 fd 总数
- 核对上限：查看进程的 nofile 软限制、硬限制，对比当前 fd 数量
- 定位泄漏来源：抓 fd 列表，看大量重复打开的文件、socket、数据库连接
- 临时止血：重启故障进程，快速恢复查询服务；紧急调高 nofile 软限制作为临时方案
- 定位代码位置：结合调用栈，找到没有关闭资源的代码分支
- 上线监控：把进程 fd 数量加入告警，设置阈值提前预警
四、临时止血方案和根治方案
✅临时止血（应急）
- 重启业务进程，释放全部占用句柄，快速恢复查询
- 临时修改 limits.conf 或者 systemd 配置，调高 nofile 上限
- 杀掉长期闲置、僵死的数据库连接，释放 socket 句柄
✅根治方案
- 代码层面：所有文件、连接、流对象，使用完毕强制关闭，使用 try-finally 自动释放
- 连接池优化：设置空闲连接超时、最大连接数、连接保活回收策略
- 监控告警：增加进程 FD 使用率告警，阈值建议设置 70%
- 压测验证：并发压测的时候持续观测 fd 曲线，确认没有持续上涨泄漏
五、容易踩坑的点
- 只看机器全局句柄，不看单个进程句柄，单个进程先跑满限制，整机资源还很充足
- 误以为连接数等于句柄数，一个 TCP 连接就占用一个 socket 句柄，但是文件、日志、管道也会消耗句柄
- 容器环境容易忽略：容器有独立的 nofile 限制，宿主机配置修改不生效，需要单独配置容器 runtime
- 只在故障发生时排查，没有持续监控，故障反复复现
【相关 FAQ】
问题 1：连接没满、磁盘没满，查询全挂，句柄耗尽为什么会出现这种现象？
回答 1：连接没满、磁盘没满，查询全挂，句柄耗尽是因为进程打开文件、socket 等句柄的数量触达上限，新的查询想要新建套接字、打开游标、读写文件时，系统分配不出句柄，就算连接、磁盘资源富余，查询也无法正常执行。
问题 2：怎么快速判断查询挂掉是不是句柄耗尽导致的？
回答 2：可以先查看故障进程的 fd 数量，对比进程 nofile 限制，如果 fd 数量接近上限，同时连接、磁盘指标正常，查询批量报错，基本就可以判定是句柄耗尽。
问题 3：句柄耗尽和数据库连接打满，排查方式有什么不一样？
回答 3：句柄耗尽不一定是数据库连接导致，日志文件、临时文件、SDK 内部 socket 都会消耗句柄；连接打满是 TCP 连接数量到达上限，句柄耗尽范围更广，很多时候连接数还很低，fd 就已经耗尽。
问题 4：容器环境下遇到句柄耗尽导致查询全挂，修改宿主机 limits 能解决吗？
回答 4：不能，容器环境有独立的句柄限制，宿主机 limits 配置对容器内进程不生效，需要修改容器运行时的 nofile 参数，或者在容器编排配置里调整资源限制。
【参考资料】
[2026-11-09]（Linux 句柄泄漏排查：进程 fd 耗尽，服务无报错直接卡死）InfoQ
[2026-10-27]（nofile 限制详解：连接正常但请求失败的隐形瓶颈）云原生实验室
[2026-10-12]（数据库查询批量超时：容易被忽略的文件句柄泄漏）掘金
[2026-09-21]（容器进程句柄耗尽问题复盘与监控方案）阿里云开发者社区
[2026-08-05]（lsof 与 proc 文件系统定位句柄泄漏实操）51CTO
【免责声明】
本文内容基于 Linux 系统、服务运维公开故障复盘、排查文档整理；句柄耗尽故障受操作系统版本、容器编排、中间件、业务代码逻辑影响，排查结果需要结合现场日志、指标综合判断；内容仅作为运维排查参考，不直接等同于线上故障根因，线上操作务必提前做好备份和回滚方案。
本文来自作者[旋粒探微使]投稿，不代表乌兰科技网立场，如若转载，请注明出处：https://www.wlcbnews.com/rgzn/202611/1429.html
评论列表（4条）
我是乌兰科技网的签约作者“旋粒探微使”！
希望本篇文章《连接磁盘均无瓶颈但查询全部报错，根因是句柄耗尽》能对你有所帮助！
本站[乌兰科技网]内容主要涵盖：互联网行业的追踪与探索
本文概览：服务器连接数没打满、磁盘 IO 和使用率也正常，但是所有查询请求全部挂住、超时失败，这种场景最常见的根因就是系统句柄先耗尽了，很多人排查的时候习惯优先看连接、CPU、内存、磁盘这些指标，很容易漏掉文件句柄这个监控项，句柄包括文件句柄、socket 句柄、管道句柄，只要进程打开的句柄数量触达系统或者进程的上限，新的查询想要创建连接、打开文件、新建网络套接字都会直接失败，哪怕机器还有大量空闲资源，查询也会直接卡住，表现就是整体服务不可用，但是底层硬件资源看起来都很健康。