按环境拆开之后

「按环境拆开之后」。

测试的配置不再能盖到生产。名字里写上环境,看一眼就知道改的是哪边。

判断分两层。第一层是现象:什么时候开始、影响谁、能不能再出现。第二层才是原因。很多时间浪费在还没写清现象就改代码。原因确定之后,改动尽量小,并写明怎样一分钟内确认它生效。确认不了的改动先不要合。

先分清是没起来、起来了但检查失败,还是流量打到了正在退出的实例。就绪检查只打真正加载完的轻量路径,并给几秒宽限。配置和密钥分开,改完写明要不要重启。地址用服务名。清单从测试抄到生产时,副本数和资源限制要逐项看,不要直接套用。

先留现场,再动手。把当时的输入、输出、配置名抄下来,确认同一条路径还能再出现一次。不能再出现的现象,改完也不知道是不是改对了。确认之后只改一处。改两处的话,结果变了也分不清是哪一处。改完用同一组输入再走,结果要变成预期的那样,而不是仅仅没有报错。

复查「按环境拆开之后」时按这四步,不靠感觉。用改之前的同一组输入再走一遍,结果要变成预期的那样。在日志里打出实际读到的配置名、端口或库名,确认不是另一个还没关的进程。换一个干净环境再做一次。最后把现象、改动、确认方法写成三行放进仓库。

补充记录。服务起不来时,先分开三种情况:进程没起来、起来了但检查失败、流量打到了正在退出的实例。三种的改法不一样。没起来就看资源和启动命令。检查失败就看路径是否需要登录、宽限是否太短。正在退出就等现有请求结束再摘掉。配置和密钥分开存放,改配置的人碰不到密钥。改完写明要不要重启,并在日志里打印实际读到的配置名,不打印值。清单从测试抄到生产,副本数、资源限制、检查路径逐项对,不整份套用。地址用服务名。写死的地址会在换环境时全部失效,而且失败看起来像网络不通。

操作顺序。1. 先判断是没起来、检查失败,还是打到了正在退出的实例。2. 就绪路径改成不需要登录的轻量地址,并给几秒宽限。3. 配置与密钥分开,启动日志只打印配置名和是否为空。4. 改完标明要不要重启,重启后再看日志。5. 从测试抄清单时,逐项对副本数、内存限制和检查路径。6. 地址改成服务名,删掉写死的主机。7. 滚动更新时等旧请求结束再摘实例。这七步任一没做,故障都会看起来像应用自己不稳定。

6 个赞

环境写进名字里。测试配置盖到生产,多半是名字看不出来。

1 个赞