发布于 21 天前
摘要
备份每天在数据库服务器上生成几 GB 临时文件，随时可能撑爆数据盘。改造的关键不是换工具，而是先用一条管道把”落盘一次、压缩一次、再整目录拷一次”压成一步。
发布于 21 天前
摘要
进程活着、端口在听、CPU 不高，接口却不动。在只有运行时 JDK、不允许改配置的生产机上，用 kill -3 和 /proc 完成取证，并修掉 init.d 脚本的六个通病。
发布于 2024-08-17
摘要
周一早上九点，公司业务群被刷屏：官网打不开，浏览器满屏大红警告”您的连接不是私密连接”。看了一眼就明白了——SSL 证书过期，而且是整站所有域名一起过期。这次事故从发现到恢复 50 分钟，暴
发布于 2022-09-17
摘要
早上被告警叫醒：磁盘使用率 95%。磁盘打满是个很阴险的故障——它会影响所有往磁盘写的东西：数据库写不进、日志写不出、服务各种莫名其妙地挂。这篇记一下当天的应急处理和事后治理。
发布于 2022-06-11
摘要
502 大概是最常见的线上报错之一。它本质就一句话：Nginx 作为代理，没能从后端拿到合法响应。但”没能拿到”的原因能列出十几种。这篇把我遇到过的场景整理成一个排查清单，按命中率排序，遇到
发布于 2021-10-30
摘要
这大概是运维生涯最惊悚的一晚。晚上发现测试服务器卡得 SSH 都登不进去，好不容易登进去，top 一看：一个叫 kdevtmpfsi 的进程吃掉 180% CPU。搜了一下，知名度很高的挖矿木马。以下…
发布于 2021-01-09
摘要
周三凌晨两点，服务被 OOM killer 干掉了，进程直接消失，监控上内存曲线是一根完美的爬坡线：每次发版后掉下去，然后花四天爬到 95%。标准的内存泄漏形态。这篇记录完整定位过程，希望能给你一个可…
发布于 2019-02-23
摘要
周五晚上十一点，手机收到云监控告警：CPU 使用率 98%，持续 5 分钟。第一反应是被打了？登录服务器开始查。把整个过程记下来，CPU 飙高的排查思路基本都能套用。