周末特刊:拆解自家工作流平台(一至十九)核心架构体系精萃

封面信息图

在过去三周连载的 19 篇深度技术拆解中,我们对 YueJoy 自研的极简多租户企业级工作流平台(Workflow Engine) 进行了从底层调度到上层交互的全景源码级剖析。

这套系统在设计之初就摒弃了传统 BPMN 繁复冗余的 XML 规范和大厂庞大沉重的重量级框架,完全从多租户高并发、大模型长交互与云原生架构的第一性原理出发,构建了一套高可靠、微秒级响应、强安全的现代工作流中枢。

本文作为周末特刊,将连载一至十九篇的核心架构精粹进行系统性的全景串联。

自家工作流平台 19 大核心架构模块全景矩阵

┌────────────────────────────────────────────────────────────────────────┐
│                 YueJoy 极简工作流平台 19 大核心架构精萃                │
├──────┬──────────────────────────────────┬──────────────────────────────┤
│ 篇章 │ 核心架构主题                     │ 核心工程实现方案             │
├──────┼──────────────────────────────────┼──────────────────────────────┤
│ 一   │ 核心调度器 DAG 拓扑排序          │ Kahn 算法 + 依赖入度动态剪枝 │
│ 二   │ 动态 DSL 规范与节点状态机        │ 声明式 JSON DSL + 确定性状态机│
│ 三   │ 运行时上下文与变量作用域隔离     │ 内存只读副本 + 租户变量物理隔离│
│ 四   │ 节点依赖解析与参数跨节点透传     │ JSONPath 毫秒级求值引擎      │
│ 五   │ 异步执行器 Worker 池与消息解耦   │ Redis Stream 有界并发消费组  │
│ 六   │ 人机协同(Human-in-the-Loop)审批│ 长会话安全挂起与 Webhook 唤醒│
│ 七   │ 节点执行耗时监控与瓶颈定位       │ 微秒级全链路 TraceSpan 追踪  │
│ 八   │ 节点级指数退避重试与熔断降级     │ 指数 Jitter 退避 + 熔断保护  │
│ 九   │ 动态表单生成与交互式参数校验     │ JSON Schema 动态渲染与验签   │
│ 十   │ 标准化连接器 (Connector) 体系    │ OpenAPI 声明式驱动 + 动态鉴权│
│ 十一 │ 大模型调用与 Prompt 流式渲染     │ SSE 管道 + 多模板引擎热加载  │
│ 十二 │ Python/JS 代码执行安全沙箱       │ Docker 隔离 + 资源硬限制     │
│ 十三 │ 高并发执行器分布式锁与消费保障   │ Redis 锁 + 消费位点 ACK 机制 │
│ 十四 │ 条件分支路由与表达式评估引擎     │ Google CEL 强类型零 RCE 解析 │
│ 十五 │ 循环迭代器 (Loop / Map-Reduce)   │ 信号量有界并发调度池 + 聚合  │
│ 十六 │ 自定义插件系统与 WASM 运行时     │ wazero 纯 Go 零 CGO 安全沙箱 │
│ 十七 │ 实时事件分发网关 (Push Gateway)  │ WebSocket + SSE 双通道自适应 │
│ 十八 │ 节点执行指标与 Prometheus 埋点   │ RED 黄金指标 + 细粒度直方图  │
│ 十九 │ 执行器断点恢复与幂等性保障       │ 唯一哈希幂等键 + Checkpoint  │
└──────┴──────────────────────────────────┴──────────────────────────────┘

平台设计的四大最高工程原则

在构建整个工作流引擎的全部 19 个模块时,我们始终遵循四条最高工程铁律:

  1. 纯声明式 DSL 驱动:所有业务流转完全由纯 JSON/YAML 声明式表达,彻底消灭硬编码;
  2. 绝对的内存与执行安全:在表达式求值(CEL)与自定义代码执行(WASM / Docker)中,构筑不可逾越的物理沙箱边界;
  3. 确定性的幂等与断点自愈:任何长流程在任何节点遭遇崩溃重启,均能在 3 秒内依靠 Checkpoint 状态快照精准恢复,零任务丢失;
  4. 全方位的低开销可观测性:在关键路径织入微秒级 Prometheus 指标与 Trace 追踪,让系统的每一次调度都透明可见。

工作流平台的终极使命

工作流平台不仅是一个调度引擎,更是将大模型的不确定性与企业业务的绝对确定性无缝衔接的工业级操作系统。

把底层调度做稳、做快、做安全,让业务人员能够在画布上自由释放创造力,是技术老兵交付给工业界最坚实的技术作品。

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐