今天，我将深入讲解 Apache Paimon 的基本概念。作为一个从 Apache Flink 社区孵化出的顶级项目，Paimon 在 2026 年已成为构建实时湖仓架构的核心组件。本文将从其核心设计出发，详细阐述关键概念、存储机制和使用要点，旨在为从业者提供系统性的参考。内容基于官方文档和社区实践，确保严谨性和实用性。

Paimon 的概述与定位

Apache Paimon 是一个开源的湖表格式（Lake Format），专为流式数据处理设计。它旨在桥接数据湖的低成本、海量存储优势与数据库的实时更新能力，实现流批一体的数据管理。不同于传统的数据湖格式如 Parquet 或 ORC，Paimon 引入了流式原生的更新机制，使其适用于高频 upsert（更新插入）、去重和聚合场景。

Paimon 的核心定位是“流式 Lakehouse 的存储层”。它支持多种计算引擎，包括 Apache Flink、Apache Spark、Trino 和 Doris 等，允许用户在同一存储上执行实时流计算和离线批处理。这在 2026 年的大数据生态中尤为重要，因为 AI 驱动的应用（如特征工程和 RAG 系统）要求数据湖具备更高的实时性和多模态支持。

Paimon 的发展历程简要回顾：它于 2023 年从 Flink 社区独立，2024 年成为 Apache 顶级项目。到 2026 年，其 1.0 版本已明确强调 Data + AI 的统一湖格式，支持向量存储和多模态数据。

核心概念一：表类型与数据模型

Paimon 的表设计是其区别于 Iceberg 或 Hudi 的关键。Paimon 支持三种主要表类型，每种针对不同的数据处理需求：

1. Append-Only Table（纯追加表）
   这是一种最简单的表类型，仅支持数据追加（append），不支持更新或删除。适用于日志式数据摄入场景，如实时指标收集或事件日志存储。

   • 存储机制：数据以不可变文件形式追加到湖中，使用 LSM（Log-Structured Merge-Tree）树结构管理。
   • 适用场景：高吞吐写操作，无需主键约束。
   • 创建示例（Flink SQL）：

     CREATE TABLE append_table (
         id BIGINT,
         name STRING,
         value DOUBLE
     ) WITH (
         'file.format' = 'orc'
     );
     

     在此模式下，写性能最高，但查询时需全表扫描或依赖分区优化。

2. Primary Key Table（主键表）
   引入主键约束，支持 upsert、删除和部分更新。这是 Paimon 的标志性功能，解决了传统湖格式在实时更新上的瓶颈。

   • 关键机制：使用主键（Primary Key）确保数据唯一性。通过 Merge Engine 处理冲突，如去重（deduplicate）或聚合（aggregation）。
   • 存储细节：底层采用 LSM 树 + Delete Vector（删除向量）来标记无效记录。Compaction 过程会定期合并文件，优化存储空间和查询性能。
   • 参数配置：
     • 'primary-key' = 'id,dt'：定义主键列，支持复合键。
     • 'merge-engine' = 'deduplicate'：去重模式，保留最新记录。
     • 'merge-engine' = 'partial-update'：部分更新模式，仅更新指定字段。
     • 'merge-engine' = 'aggregation'：聚合模式，支持 SUM、COUNT 等函数。
   • 创建示例：

     CREATE TABLE pk_table (
         user_id BIGINT,
         dt STRING,
         score DOUBLE,
         PRIMARY KEY (user_id, dt) NOT ENFORCED
     ) WITH (
         'merge-engine' = 'deduplicate',
         'changelog-producer' = 'input'
     );
     

     此类型适用于用户行为日志的实时去重或指标聚合。

3. CDC Changelog Table（变更日志表）
   专为 Change Data Capture（CDC）设计，支持从 Kafka 或数据库同步变更日志，实现全量 + 增量的数据湖摄入。

   • 机制：表记录变更事件（如 +I 为插入、-U 为更新前、+U 为更新后），允许下游引擎消费 changelog 进行物化视图构建。
   • 优势：与 Debezium 或 Flink CDC 无缝集成，支持 Exactly-Once 语义。
   • 参数：'changelog-producer' = 'full-compaction' 用于生成完整变更日志。
   • 适用场景：数据库到湖的实时同步，如 MySQL Binlog 到 Paimon。

这些表类型可通过 Catalog 统一管理，支持分区（Partition）和桶化（Bucket）优化查询。

核心概念二：存储与 compaction 机制

Paimon 的存储模型基于文件系统（如 HDFS、S3 或 OSS），使用 Manifest 文件跟踪所有数据文件和元数据变更，确保 ACID 事务支持。

• LSM 树结构：写操作先落入内存 MemTable，然后 flush 到 Level-0 文件。Compaction 过程将小文件合并到更高层级，减少文件碎片。

  • Compaction 策略：支持全量（Full Compaction）和增量（Partial Compaction）。参数如 'full-compaction.delta-commits' = '10' 控制触发阈值。
  • Delete Vector：用于标记删除记录，而非物理删除，提高写效率。查询时通过过滤实现。

• 索引与优化：Paimon 支持二级索引（如 Bloom Filter）和 Min-Max 索引，加速范围查询。未来版本将增强向量索引以支持 AI 场景。

• 文件格式：默认 ORC，支持 Parquet 和 Avro。压缩算法可配置，如 'compression' = 'zstd'。

这些机制确保 Paimon 在高并发写下的查询延迟控制在秒级，同时存储成本低于传统数据库。

核心概念三：读写操作与生态集成

• 写操作：Paimon 支持流式写（Flink Sink）和批式写（Spark Insert）。关键是 Changelog Producer，用于生成变更日志，便于下游消费。

  • 示例：Flink 流任务写入 Paimon：

    INSERT INTO paimon_table
    SELECT user_id, dt, SUM(score) FROM kafka_source GROUP BY user_id, dt;
    

• 读操作：支持流读（Streaming Read）和批读（Batch Read）。流读可消费 changelog，实现实时物化。

  • 查询引擎集成：
    • Flink：原生支持，SQL 直接访问。
    • Spark：3.5+ 版本通过 Catalog 读写。
    • Trino/Doris：作为外部表查询，支持 Predicate Pushdown。
  • 优化技巧：使用 'scan.mode' = 'changelog' 读取变更日志。

• 事务与一致性：Paimon 提供 Snapshot Isolation，支持多版本并发控制（MVCC）。每个写操作生成新 Snapshot，便于时间旅行查询（如 SELECT * FROM table FOR SYSTEM_TIME AS OF TIMESTAMP '2026-02-16 14:00:00'）。

应用场景与注意事项

Paimon 适用于实时数仓、AI 特征湖和多模态数据管理。例如，在电商场景中，可用主键表实时聚合用户行为；在金融风控中，用 CDC 表同步交易日志。

注意事项：

• 性能调优：监控 Compaction 延迟，避免小文件爆炸。
• 兼容性：确保计算引擎版本匹配（如 Flink 1.18+）。
• 监控：集成 Prometheus 暴露 Metrics，如写吞吐和 Compaction 时间。

总之，Apache Paimon 通过创新的表模型和存储机制，重塑了湖仓架构的实时能力。对于大数据从业者，掌握这些基本概念是构建高效系统的起点。

最后，给大家送一个体系课 - 轻松入门大数据玩转Flink，打造湖仓一体架构 （https://wpansou.aicosmos.cn/resource/1193671）