基于Python与Linux底层:我是如何手搓“看门狗“,拯救半夜假死的边缘AI进程的?
一、项目背景
在边缘计算场景中(如 RK3588、树莓派),AI 推理程序经常因为内存泄漏、硬件过热等原因半夜闪退或假死。如果程序在无人值守的半夜挂掉,整个设备就变成了"砖头"。
我们需要一个"看门狗(Watchdog)"脚本,实现以下核心需求:
- 周期性检测核心进程是否存活,死透了立刻拉起。
- 检测进程是否发生死锁"假死"(进程还在,但内部卡死不再更新心跳),若是则强杀重启。
- 记录清晰的日志,按日期分类,方便事后排查。
二、效果速览:从数小时到 5 秒
在正式拆代码之前,先看这套机制带来的实际收益。通过心跳检测机制,将 AI 进程异常发现时间从人工巡检的数小时缩短至 5 秒内,实现了分钟级的故障自愈,保障了边缘设备 7x24 小时的稳定运行。
| 指标 | 人工巡检 | 看门狗方案 |
|---|---|---|
| 异常发现时间 | 数小时(取决于巡检频率) | ≤ 5 秒(巡逻间隔) |
| 假死识别 | 基本无法识别 | 心跳超时 180 秒判定 |
| 故障恢复 | 人工登录手动重启 | 自动拉起,分钟级自愈 |
| 无人值守 | 依赖值班 | 7x24 小时稳定运行 |
三、核心代码实现
1. 模拟 AI 推理的"靶子"程序(ai_infer.py)
为了让看门狗有东西可监控,先写一个模拟 AI 推理的脚本,它需要每隔 2 秒更新一次心跳文件。
#!/usr/bin/env python3
import time
heartbeat = '/home/panxuqian/python/dog/heartbeat.txt'
while True:
print(f"———————AI推理中 {time.strftime('%Y-%m-%d %H:%M:%S')} ————————")
# 写入当前时间戳,用于心跳检测
with open(heartbeat, 'w', encoding='utf-8') as f:
f.write(str(time.time()))
time.sleep(2)
2. 守护进程看门狗(watchdog.py)
这是整个系统的核心,包含了进程监控、自动拉起、心跳超时检测等逻辑。
#!/usr/bin/env python3
import subprocess
import time
import os
while True:
ai_infer = '/home/panxuqian/python/dog/ai_infer.py' # 测试脚本位置
# 获取进程状态,并转为整数
process = int(subprocess.check_output(
'ps -ef | grep ai_infer.py | grep -v grep | wc -l', shell=True))
date_day = time.strftime('%Y-%m-%d') # 当天时间
# 日志路径定义
true_log = f'/home/panxuqian/python/dog/watchdog_logs/{date_day}_true.log'
false_log = f'/home/panxuqian/python/dog/watchdog_logs/{date_day}_false.log'
heartbeat = '/home/panxuqian/python/dog/heartbeat.txt'
# ---------------- 情况一:进程死透了 ----------------
if process == 0:
with open(false_log, 'a', encoding='utf-8') as f:
f.write(f"{time.strftime('%H:%M:%S')} 进程死亡!!!!\n")
f.write(f"{time.strftime('%H:%M:%S')} 正在重启进程\n")
print(f'{date_day} 进程死亡!!!!, 正在重启进程')
# 用 os.system 在后台拉起进程
os.system(f'nohup python3 {ai_infer} > /dev/null 2>&1 &')
time.sleep(2)
# 二次复查
process_1 = int(subprocess.check_output(
'ps -ef | grep ai_infer.py | grep -v grep | wc -l', shell=True))
if process_1 == 0:
print('拉起失败')
else:
if process == 0:
with open(false_log, 'a', encoding='utf-8') as f:
f.write(f"{time.strftime('%H:%M:%S')} 拉起成功\n")
print('拉起成功')
# ---------------- 情况二:进程存活,检查是否假死 ----------------
else:
if os.path.exists(heartbeat):
now = time.time()
last = os.path.getmtime(heartbeat) # 获取修改时间
diff_time = now - last
# 心跳超时(>180秒)
if diff_time >= 180:
with open(false_log, 'a', encoding='utf-8') as f:
f.write(f"{time.strftime('%H:%M:%S')} ____检测到假死,强制重启\n")
os.system('pkill -9 -f ai_infer.py')
time.sleep(1)
os.system(f'nohup python3 {ai_infer} > /dev/null 2>&1 &')
time.sleep(2)
process_2 = int(subprocess.check_output(
'ps -ef | grep ai_infer.py | grep -v grep | wc -l', shell=True))
if process_2 == 0:
print('拉起失败')
else:
print('拉起成功')
if process == 0:
with open(false_log, 'a', encoding='utf-8') as f:
f.write(f"{time.strftime('%H:%M:%S')} 拉起成功\n")
else:
# 心跳正常
with open(true_log, 'a', encoding='utf-8') as f:
f.write(f"{time.strftime('%H:%M:%S')} 心跳正常\n")
print('进程存活')
else:
print('等待文件生成……')
time.sleep(5) # 巡逻间隔
四、核心避坑实录
🕳️ 坑点一:数据类型转换(str vs int 的致命冲突)
subprocess.check_output() 拿回来的结果,是系统命令输出的文本(带换行符的字符串,如 '1\n')。如果直接拿去和数字 0 比较(if process == 0),条件永远不成立。必须用 int(...) 强制转换成真正的整数。
🕳️ 坑点二:假死检测的 atime 与 mtime 之坑
一开始我用的是 os.path.getatime()(Access Time,访问时间)去判断心跳。结果程序刚启动就被判定假死并疯狂杀掉。
底层逻辑:AI 程序是用 'w' 模式写入心跳文件的,这在 Linux 底层更新的是 mtime(Modify Time,修改时间)。而 atime 是读取文件的时间。如果用它,时间差永远大于 180 秒,看门狗会一直误杀。必须换成 os.path.getmtime()。
🕳️ 坑点三:subprocess 的阻塞陷阱
如果用 subprocess.check_output 去执行 nohup ... & 拉起进程,会导致主程序在这里阻塞卡死,等待子进程结束。后来改用了 os.system(),直接把命令丢给 Linux 终端,让它在后台静默运行,完美解决阻塞问题。
五、运行展示
正常运行时,看门狗打印:进程存活。
手动 kill -9 杀掉 AI 进程后,看门狗瞬间响应:`进程死亡!!!!, 正在重启进程 -> 拉起成功
六、总结与后续优化
到这里,一个能跑、能自愈、能留痕的「进程看门狗」就成型了。回头看,它其实只做了三件事:用 ps 判断进程死活、用 mtime 判断进程是否假死、用 os.system 在后台把进程拉起来。但正是这三件朴素的事,把边缘设备从「半夜挂掉只能等天亮」变成了「挂了 5 秒内自己爬起来」。
这套方案解决了什么
- 无人值守:不再依赖人工巡检,设备 7x24 小时自己盯着自己。
- 区分「死透」与「假死」:进程没了直接拉起,进程还在但心跳停了就
pkill -9后重启,避免「僵尸进程占着资源不干活」。 - 可追溯:按日期分
true.log/false.log,事后翻日志就能还原故障时间线。
还能怎么继续打磨
当前版本是「够用就好」的极简实现,如果要在生产环境长期跑,建议按优先级补上这几块:
- 改用
psutil替代ps -ef | grep:字符串匹配容易误伤(比如grep自身、路径相似的脚本),psutil能直接按 PID 和命令行精确判断,跨平台也更稳。 - 用
subprocess.Popen替代os.system:os.system拿不到子进程 PID,无法做精细管理;Popen可以保存句柄,后续优雅终止、回收资源都更方便。 - 加进程锁防止看门狗自身被重复启动:用
fcntl.flock或 PID 文件做单例,避免手滑启动两个看门狗互相打架。 - 接入 systemd 或 supervisor:如果只是「进程挂了拉起来」,其实
systemd的Restart=always就能覆盖;本方案的价值在于心跳假死检测,两者可以组合使用。 - 告警外发:拉起成功/失败时通过 Webhook、邮件或 MQTT 推一条消息,让运维第一时间知道设备「自愈过」。
一句话经验
边缘设备上的自愈,不一定要多复杂的框架。把「怎么判断它死了」和「怎么把它拉起来」这两件事想清楚,几十行 Python 就够用。真正难的不是写代码,而是踩过
atime/mtime、str/int、阻塞调用这些底层坑之后,才知道每一行该写在哪。
`。
更多推荐


所有评论(0)