内存限制写小了

「内存限制写小了」。

进程被杀掉,表面像随机崩溃。先看是不是被限制杀死,再猜代码。

记录里保留失败的那一次。只写成功,别人学不到边界。失败时的输出、当时的配置、本来期望发生什么,三样放在一起。修好之后补一句:如果再出现,先看哪一行。没有这句,这篇就只是故事。

先分清是没起来、起来了但检查失败,还是流量打到了正在退出的实例。就绪检查只打真正加载完的轻量路径,并给几秒宽限。配置和密钥分开,改完写明要不要重启。地址用服务名。清单从测试抄到生产时,副本数和资源限制要逐项看,不要直接套用。

这次按时间写。先发生什么,中间查了什么,最后留下什么。不把后来才知道的结论写成一开始就想到了。查的时候把猜的和已经验证的分开,避免第二天把猜测当成事实。验证用的是改之前的同一条路径,不是换一组更容易过的输入。

复查「内存限制写小了」时按这四步,不靠感觉。用改之前的同一组输入再走一遍,结果要变成预期的那样。在日志里打出实际读到的配置名、端口或库名,确认不是另一个还没关的进程。换一个干净环境再做一次。最后把现象、改动、确认方法写成三行放进仓库。

补充记录。服务起不来时,先分开三种情况:进程没起来、起来了但检查失败、流量打到了正在退出的实例。三种的改法不一样。没起来就看资源和启动命令。检查失败就看路径是否需要登录、宽限是否太短。正在退出就等现有请求结束再摘掉。配置和密钥分开存放,改配置的人碰不到密钥。改完写明要不要重启,并在日志里打印实际读到的配置名,不打印值。清单从测试抄到生产,副本数、资源限制、检查路径逐项对,不整份套用。地址用服务名。写死的地址会在换环境时全部失效,而且失败看起来像网络不通。

操作顺序。1. 先判断是没起来、检查失败,还是打到了正在退出的实例。2. 就绪路径改成不需要登录的轻量地址,并给几秒宽限。3. 配置与密钥分开,启动日志只打印配置名和是否为空。4. 改完标明要不要重启,重启后再看日志。5. 从测试抄清单时,逐项对副本数、内存限制和检查路径。6. 地址改成服务名,删掉写死的主机。7. 滚动更新时等旧请求结束再摘实例。这七步任一没做,故障都会看起来像应用自己不稳定。

7 个赞

进程突然消失,先看是不是内存限制把它杀掉,再猜代码。

2 个赞