一、项目背景

在边缘计算场景中(如 RK3588、树莓派),AI 推理程序经常因为内存泄漏、硬件过热等原因半夜闪退或假死。如果程序在无人值守的半夜挂掉,整个设备就变成了"砖头"。

我们需要一个"看门狗(Watchdog)"脚本,实现以下核心需求:

  • 周期性检测核心进程是否存活,死透了立刻拉起。
  • 检测进程是否发生死锁"假死"(进程还在,但内部卡死不再更新心跳),若是则强杀重启。
  • 记录清晰的日志,按日期分类,方便事后排查。

二、效果速览:从数小时到 5 秒

在正式拆代码之前,先看这套机制带来的实际收益。通过心跳检测机制,将 AI 进程异常发现时间从人工巡检的数小时缩短至 5 秒内,实现了分钟级的故障自愈,保障了边缘设备 7x24 小时的稳定运行。

指标人工巡检看门狗方案
异常发现时间数小时(取决于巡检频率)≤ 5 秒(巡逻间隔)
假死识别基本无法识别心跳超时 180 秒判定
故障恢复人工登录手动重启自动拉起,分钟级自愈
无人值守依赖值班7x24 小时稳定运行

三、核心代码实现

1. 模拟 AI 推理的"靶子"程序(ai_infer.py)

为了让看门狗有东西可监控,先写一个模拟 AI 推理的脚本,它需要每隔 2 秒更新一次心跳文件。

#!/usr/bin/env python3
import time

heartbeat = '/home/panxuqian/python/dog/heartbeat.txt'

while True:
    print(f"———————AI推理中 {time.strftime('%Y-%m-%d %H:%M:%S')} ————————")
    # 写入当前时间戳,用于心跳检测
    with open(heartbeat, 'w', encoding='utf-8') as f:
        f.write(str(time.time()))
    time.sleep(2)

2. 守护进程看门狗(watchdog.py)

这是整个系统的核心,包含了进程监控、自动拉起、心跳超时检测等逻辑。

#!/usr/bin/env python3
import subprocess
import time
import os

while True:
    ai_infer = '/home/panxuqian/python/dog/ai_infer.py'  # 测试脚本位置

    # 获取进程状态,并转为整数
    process = int(subprocess.check_output(
        'ps -ef | grep ai_infer.py | grep -v grep | wc -l', shell=True))

    date_day = time.strftime('%Y-%m-%d')  # 当天时间

    # 日志路径定义
    true_log = f'/home/panxuqian/python/dog/watchdog_logs/{date_day}_true.log'
    false_log = f'/home/panxuqian/python/dog/watchdog_logs/{date_day}_false.log'
    heartbeat = '/home/panxuqian/python/dog/heartbeat.txt'

    # ---------------- 情况一:进程死透了 ----------------
    if process == 0:
        with open(false_log, 'a', encoding='utf-8') as f:
            f.write(f"{time.strftime('%H:%M:%S')} 进程死亡!!!!\n")
            f.write(f"{time.strftime('%H:%M:%S')} 正在重启进程\n")
        print(f'{date_day} 进程死亡!!!!, 正在重启进程')

        # 用 os.system 在后台拉起进程
        os.system(f'nohup python3 {ai_infer} > /dev/null 2>&1 &')
        time.sleep(2)

        # 二次复查
        process_1 = int(subprocess.check_output(
            'ps -ef | grep ai_infer.py | grep -v grep | wc -l', shell=True))
        if process_1 == 0:
            print('拉起失败')
        else:
            if process == 0:
                with open(false_log, 'a', encoding='utf-8') as f:
                    f.write(f"{time.strftime('%H:%M:%S')} 拉起成功\n")
            print('拉起成功')

    # ---------------- 情况二:进程存活,检查是否假死 ----------------
    else:
        if os.path.exists(heartbeat):
            now = time.time()
            last = os.path.getmtime(heartbeat)  # 获取修改时间
            diff_time = now - last

            # 心跳超时(>180秒)
            if diff_time >= 180:
                with open(false_log, 'a', encoding='utf-8') as f:
                    f.write(f"{time.strftime('%H:%M:%S')} ____检测到假死,强制重启\n")

                os.system('pkill -9 -f ai_infer.py')
                time.sleep(1)
                os.system(f'nohup python3 {ai_infer} > /dev/null 2>&1 &')
                time.sleep(2)

                process_2 = int(subprocess.check_output(
                    'ps -ef | grep ai_infer.py | grep -v grep | wc -l', shell=True))
                if process_2 == 0:
                    print('拉起失败')
                else:
                    print('拉起成功')
                    if process == 0:
                        with open(false_log, 'a', encoding='utf-8') as f:
                            f.write(f"{time.strftime('%H:%M:%S')} 拉起成功\n")
            else:
                # 心跳正常
                with open(true_log, 'a', encoding='utf-8') as f:
                    f.write(f"{time.strftime('%H:%M:%S')} 心跳正常\n")
                print('进程存活')
        else:
            print('等待文件生成……')

    time.sleep(5)  # 巡逻间隔

四、核心避坑实录

🕳️ 坑点一:数据类型转换(str vs int 的致命冲突)

subprocess.check_output() 拿回来的结果,是系统命令输出的文本(带换行符的字符串,如 '1\n')。如果直接拿去和数字 0 比较(if process == 0),条件永远不成立。必须用 int(...) 强制转换成真正的整数。

🕳️ 坑点二:假死检测的 atime 与 mtime 之坑

一开始我用的是 os.path.getatime()(Access Time,访问时间)去判断心跳。结果程序刚启动就被判定假死并疯狂杀掉。

底层逻辑:AI 程序是用 'w' 模式写入心跳文件的,这在 Linux 底层更新的是 mtime(Modify Time,修改时间)。而 atime 是读取文件的时间。如果用它,时间差永远大于 180 秒,看门狗会一直误杀。必须换成 os.path.getmtime()。

🕳️ 坑点三:subprocess 的阻塞陷阱

如果用 subprocess.check_output 去执行 nohup ... & 拉起进程,会导致主程序在这里阻塞卡死,等待子进程结束。后来改用了 os.system(),直接把命令丢给 Linux 终端,让它在后台静默运行,完美解决阻塞问题。

五、运行展示

在这里插入图片描述

正常运行时,看门狗打印:进程存活。

手动 kill -9 杀掉 AI 进程后,看门狗瞬间响应:`进程死亡!!!!, 正在重启进程 -> 拉起成功

六、总结与后续优化

到这里,一个能跑、能自愈、能留痕的「进程看门狗」就成型了。回头看,它其实只做了三件事:用 ps 判断进程死活、用 mtime 判断进程是否假死、用 os.system 在后台把进程拉起来。但正是这三件朴素的事,把边缘设备从「半夜挂掉只能等天亮」变成了「挂了 5 秒内自己爬起来」。

这套方案解决了什么

  • 无人值守:不再依赖人工巡检,设备 7x24 小时自己盯着自己。
  • 区分「死透」与「假死」:进程没了直接拉起,进程还在但心跳停了就 pkill -9 后重启,避免「僵尸进程占着资源不干活」。
  • 可追溯:按日期分 true.log / false.log,事后翻日志就能还原故障时间线。

还能怎么继续打磨

当前版本是「够用就好」的极简实现,如果要在生产环境长期跑,建议按优先级补上这几块:

  1. 改用 psutil 替代 ps -ef | grep:字符串匹配容易误伤(比如 grep 自身、路径相似的脚本),psutil 能直接按 PID 和命令行精确判断,跨平台也更稳。
  2. 用 subprocess.Popen 替代 os.system:os.system 拿不到子进程 PID,无法做精细管理;Popen 可以保存句柄,后续优雅终止、回收资源都更方便。
  3. 加进程锁防止看门狗自身被重复启动:用 fcntl.flock 或 PID 文件做单例,避免手滑启动两个看门狗互相打架。
  4. 接入 systemd 或 supervisor:如果只是「进程挂了拉起来」,其实 systemd 的 Restart=always 就能覆盖;本方案的价值在于心跳假死检测,两者可以组合使用。
  5. 告警外发:拉起成功/失败时通过 Webhook、邮件或 MQTT 推一条消息,让运维第一时间知道设备「自愈过」。

一句话经验

边缘设备上的自愈,不一定要多复杂的框架。把「怎么判断它死了」和「怎么把它拉起来」这两件事想清楚,几十行 Python 就够用。真正难的不是写代码,而是踩过 atime/mtime、str/int、阻塞调用这些底层坑之后,才知道每一行该写在哪。

`。

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐