Iceberg在Hadoop集群使用步骤

在 Cloudera Data Platform（CDP） 集群中使用 Apache Iceberg，需结合 CDP 的集成能力（如 Spark 3、Hive Metastore、Catalog 支持等）。以下是 完整、可操作的使用步骤（适用于 CDP Private Cloud Base/Experience 7.1.7+ 或 CDP Public Cloud，截至 2025 年）：

✅ 一、前提条件

1. CDP 版本要求

• CDP Private Cloud：7.1.7 SP1 或更高（推荐 7.2+）
• CDP Public Cloud：已启用 Data Engineering (DE) 或 Data Warehouse (DW) 环境
• 已安装 Spark 3.x（Iceberg 仅支持 Spark 3+）

2. 组件依赖

组件	要求
Spark	≥ 3.1（推荐 3.2+）
Hive Metastore	必须运行（Iceberg 默认使用 Hive Catalog）
存储	HDFS / S3A / Ozone（需配置访问权限）
Cloudera Manager	≥ 7.7.3（Private Cloud）

⚠️ 注意：CDP 不支持 Nessie Catalog（截至 7.2），仅支持 Hive Catalog。

🔧 二、启用 Iceberg 支持（CDP Private Cloud）

步骤 1：在 Cloudera Manager 中配置 Spark 启用 Iceberg

• 登录 Cloudera Manager Web UI
• 进入 Spark 3 → Configuration
• 搜索 spark.sql.extensions
  • 添加值：org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions
• 搜索 spark.sql.catalog.spark_catalog
  • 设置为：

org.apache.iceberg.spark.SparkSessionCatalog

• 搜索 spark.sql.catalog.spark_catalog.type
  • 设置为：hive
• （可选）设置默认仓库路径：
  • spark.sql.catalog.spark_catalog.warehouse = hdfs://nameservice1/warehouse/iceberg

💡 提示：上述配置将 spark_catalog 设为 Iceberg 的 Hive Catalog，使 CREATE TABLE 默认创建 Iceberg 表。

步骤 2：重启 Spark 服务

• 在 CM 中 重启 Spark 3 History Server 和 Gateway

🧪 三、使用 Iceberg（通过 Spark SQL）

方式 1：在 Spark Shell / Beeline / Hue 中操作

1. 启动 Spark SQL 客户端

Bash：

# 在 CDP 集群节点执行

spark3-sql --conf spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions \

           --conf spark.sql.catalog.spark_catalog=org.apache.iceberg.spark.SparkSessionCatalog \

           --conf spark.sql.catalog.spark_catalog.type=hive

2. 创建 Iceberg 表

Sql：

-- 创建数据库（如果不存在）

CREATE DATABASE IF NOT EXISTS iceberg_db;

-- 使用数据库

USE iceberg_db;

-- 创建 Iceberg 表（自动识别为 Iceberg 格式）

CREATE TABLE customer (

  id BIGINT,

  name STRING,

  email STRING,

  ts TIMESTAMP

) USING iceberg

PARTITIONED BY (days(ts));

✅ 关键：USING iceberg 显式指定格式（即使配置了默认 catalog 也建议写明）

3. 写入数据

Sql：

INSERT INTO customer VALUES

(1, 'Alice', 'alice@example.com', current_timestamp()),

(2, 'Bob', 'bob@example.com', current_timestamp());

4. 查询与 Time Travel

Sql：

-- 普通查询

SELECT * FROM customer;

-- 查看快照历史

SELECT * FROM customer.history;

-- 时间旅行查询（按快照 ID）

SELECT * FROM customer VERSION AS OF 123456789;

-- 或按时间戳

SELECT * FROM customer FOR TIMESTAMP AS OF '2025-12-17 10:00:00';

5. Schema Evolution（安全改表结构）

Sql：

-- 添加列

ALTER TABLE customer ADD COLUMN phone STRING;

-- 删除列（CDP 7.2+ 支持）

ALTER TABLE customer DROP COLUMN email;

📁 四、目录结构与元数据位置

Iceberg 表在 HDFS/S3 上生成标准目录结构：

/warehouse/iceberg/

└── iceberg_db.db/

    └── customer/

        ├── metadata/

        │   ├── snap-123456789-1-a1b2c3d4.metadata.json

        │   ├── v1.metadata.json

        │   └── ...

        └── data/

            └── dt=2025-12-17/

                └── xxx.parquet

• metadata/：存储快照、manifest、schema 变更历史
• data/：实际数据文件（Parquet/ORC）

🔍 可通过 DESCRIBE FORMATTED customer; 查看表路径和格式。

⚙️ 五、高级功能（CDP 支持情况）

功能	CDP 支持	说明
Row-Level Delete	✅ 7.2+	DELETE FROM customer WHERE id = 1;
Merge Into（Upsert）	✅	需 Spark 3.2+，语法：MERGE INTO ... WHEN MATCHED THEN UPDATE ...
Time Travel	✅	完整支持 VERSION AS OF / TIMESTAMP AS OF
Partition Evolution	✅	ALTER TABLE ... SET PARTITION SPEC (...)
Replication Manager 复制	✅ 7.1.7 SP1+	通过 RM 复制 Iceberg 表（需选 "Replicate using metadata files"）
Trino/Presto 查询	❌（Private Cloud）	CDP Private Cloud 默认不集成 Trino；Public Cloud 可通过 DW 查询

🛠 六、常见问题排查

问题	解决方案
报错：Cannot find catalog spark_catalog	检查 Spark 配置是否包含 spark.sql.catalog.spark_catalog=...
CREATE TABLE 仍是 Hive 表	确认是否写了 USING iceberg，或检查 spark_catalog 是否被覆盖
权限拒绝（Permission denied）	确保用户对 /warehouse/iceberg 有读写权限（HDFS ACL / S3 Policy）
Kerberos 认证失败	在 Spark 提交时添加 --keytab 和 --principal

📚 官方参考文档

• Cloudera Docs: Using Iceberg Tables in CDP
• CDP Public Cloud: Iceberg with Data Engineering

✅ 总结：CDP 中使用 Iceberg 的核心流程

1. 配置 Spark 启用 Iceberg 扩展 + Hive Catalog
2. 通过 Spark SQL 创建 USING iceberg 表
3. 使用标准 SQL 进行 INSERT/UPDATE/DELETE/TIME TRAVEL
4. 利用 Replication Manager 实现灾备同步（可选）

Iceberg 在 CDP 中已深度集成，是构建 湖仓一体（Lakehouse） 架构的首选格式。