一、简介：为什么“写日志”会毁了实时性？

• 实时 Linux（PREEMPT_RT）已将调度延迟压到 < 50 μs，但一次 sync 写盘 可能 > 10 ms，直接导致：

  • 机械臂抖动、电机电流环超时

  • AI 推理流水线帧率暴跌

• 根因：默认 rsyslog / journald 使用 同步 IO + 强制 sync，在突发大日志（AI 推理 debug、内核故障转储）时触发 EXT4 journal 锁，实时任务被阻塞。

• 目标：把“写盘”变“写内存缓冲区”，异步 + 批量刷盘，保证日志不丢，实时性不降。

---

二、核心概念：4 个关键词先搞懂

关键词	一句话	本文出现命令
rsyslog	系统 syslog 守护进程，支持内存队列、异步 Action	/etc/rsyslog.conf
journald	systemd 自带日志服务，默认同 sync	/etc/systemd/journald.conf
sync()	强制把页缓存刷到磁盘，阻塞调用	strace -e sync -p <pid>
imjournal	rsyslog 插件，用于消费 journald 日志，可配置缓冲	module(load="imjournal" StateFile="/var/lib/rsyslog/imjournal.state" Ratelimit.Interval="0")

---

三、环境准备：5 分钟搭好实验沙箱

1. 硬件

• x86_64 多核，内存 ≥ 4 GB（缓冲区需要内存）

2. 软件

组件	版本	安装命令
实时内核	5.15.71-rt53	见文末一键脚本
rsyslog	v8.2204+	自带，老版本功能缺失需源码
systemd	≥ 249	Ubuntu 22.04 满足

3. 创建实验目录

mkdir -p ~/log-rt-lab && cd ~/log-rt-lab

---

四、应用场景（300 字）

自动驾驶底盘控制器：

• 1 ms 周期闭环，传感器（IMU+编码器）→ AI 推理 → 电机 PWM。

• 同时输出 DEBUG 日志（推理耗时、CAN 帧）到 /var/log/auto.log。

• 压力测试 30 min 后，发现 偶发 8 ms 延迟，trace 显示 ext4_sync_file 阻塞实时线程。

• 采用本文方案：rsyslog 内存队列 + journald 异步刷盘，延迟降至 60 μs，日志不丢，通过 SIL 2 审计。

---

五、实际案例与步骤：从“同步”到“异步”

5.1 同步现状：制造“日志风暴”

# 1. 产生 100 MB 大日志
yes "DEBUG AI inference=1234567890" | logger -t AI -p local0.debug &
YES_PID=$!

# 2. 实时任务：1 ms 循环
sudo cyclictest -p95 -m -Sp90 -i1000 -d60s > cyclictest.log &
CYC_PID=$!

# 3. 观察延迟
tail -f cyclictest.log
# 输出：Max 12.3 ms  ← 同步写盘导致

---

5.2 步骤 1 - Rsyslog 异步配置（可复制）

编辑 /etc/rsyslog.conf：

# 打开内存队列 + 异步 Action
$WorkDirectory /var/lib/rsyslog   # 状态文件目录
$ActionQueueType LinkedList       # 内存队列
$ActionQueueFileName fwdq1        # 溢出时转储文件
$ActionQueueMaxDiskSpace 1g       # 磁盘队列上限
$ActionQueueSaveOnShutdown on     # 关机保存
$ActionResumeRetryCount -1        # 无限重试
local0.debug    /var/log/auto.log

重启服务：

sudo systemctl restart rsyslog

验证队列：

sudo rsyslogd -N1        # 语法检查
rsyslogd: version 8.2204.0, config ok

---

5.3 步骤 2 - Journald 异步配置

编辑 /etc/systemd/journald.conf：

[Journal]
Storage=volatile        # 仅内存，重启丢
# 或 persistent + 下面参数
SyncIntervalSec=5m      # 5 min 才 sync 一次，默认 5 s
RateLimitInterval=0s    # 关闭速率限制，方便风暴
RateLimitBurst=0
SystemMaxUse=200M       # 缓冲区上限

重载：

sudo systemctl restart systemd-journald

---

5.4 步骤 3 - 关闭同步写盘（ext4 挂载参数）

# 临时挂载（实验用）
sudo mount -o remount,noatime,nobarrier /dev/sda1 /

生产环境建议在 /etc/fstab 加：

UUID=xxxx-xxxx / ext4 noatime,nobarrier 0 1

---

5.5 步骤 4 - 再次压测

# 清缓存
echo 3 | sudo tee /proc/sys/vm/drop_caches
# 重复 5.1 命令
yes "DEBUG AI inference=1234567890" | logger -t AI -p local0.debug &
sudo cyclictest -p95 -m -Sp90 -i1000 -d60s > cyclictest2.log

结果：

Max 0.058 ms ← 60 μs，下降 99.5%

---

六、常见问题与解答（FAQ）

问题	现象	解决
rsyslogd: imjournal: journal reloaded on every message	CPU 飙高	加 StateFile="/var/lib/rsyslog/imjournal.state" 并确保可写
日志丢失	重启后 /var/log/auto.log 空	队列 SaveOnShutdown on + 持久挂载
延迟仍 > 1 ms	ext4 journal 阻塞	挂载加 nobarrier，或换 xfs
内存不足	OOM 杀死 rsyslog	降低 SystemMaxUse 或换 Storage=volatile
容器内无法改挂载	Docker 默认同步	宿主机统一调优，容器只读挂载日志卷

---

七、实践建议与最佳实践

1. “内存 + 磁盘”双队列
   内存足够时优先内存队列，溢出后落盘，兼顾性能与可靠。

2. 统一时间戳
   实时任务写日志带 CLOCK_MONOTONIC 时间，方便与 cyclictest 对齐。

3. 日志分级
   实时线程只输出 local0.err，调试信息放 local0.debug，生产环境 debug 直接丢弃。

4. 监控队列长度
   rsyslog 提供 impstats 模块，Prometheus 导出队列积压：

module(load="impstats" interval="60" severity="7")
*.* :omstdout:

1. 故障演练
   每月模拟“磁盘满 + 高负载”双故障，确认队列溢出后仍不丢 ERROR 级日志。

2. 文档化
   把 /etc/rsyslog.d/99-rt.conf 与 journald.conf 片段纳入 Git，Merge Request 必须同行评审。

---

八、总结：一张脑图带走全部要点

日志异步优化
├─ 瓶颈：sync 写盘阻塞实时线程
├─ 方案：
│  ├─ rsyslog: LinkedList 队列 + Action 异步
│  ├─ journald: SyncIntervalSec=5m
│  └─ ext4: nobarrier,noatime
├─ 工具：cyclictest 量延迟，impstats 监控
└─ 结果：Max 延迟从 12 ms → 60 μs

实时 Linux 不是“跑得快”，而是“抖动可控”。
把本文配置推入你的 CI Pipeline，下次 AI 推理大模型上线，日志狂刷的同时，控制环依旧稳如老狗。祝你一次调优成功，延迟曲线永远平滑！