以下是对《构建 AI 时代的大数据基础设施》内容的详细总结，基于阿里云智能计算平台事业部 MaxCompute 负责人张治国的分享：

🧠 一、AI 时代大数据基础设施的核心挑战

1. 三大核心要素

   • 数据：AI 的“养料”，支撑模型训练与应用。
   • 算力：基础资源，尤其大模型需高性能计算支持。
   • 模型：算法骨架，决定智能决策能力。

2. 企业痛点

   • 运维复杂：自建开源架构运维成本高，安全难保障。
   • 效率低下：数据开发与模型开发割裂，跨平台协作难。
   • 成本高昂：开源计算框架独立部署，资源利用率低。
   • 数据孤岛：多模态数据分散，融合与对齐难度大。

🚀 二、AI Native 时代的新需求

企业需升级大数据平台能力：

1. 统一 Data + AI 平台：打破数据与 AI 平台壁垒，实现一体化计算。

1. 高效 AI 数据处理：支持异构算力（CPU/GPU）、多模态数据分布式算子（如 LLM/VLM 预处理）。
2. 数据价值最大化：通过 AI 直接实现业务价值变现，替代人工分析。

☁️ 三、阿里云数智一体计算平台解决方案

1. 平台架构演进

• ODPS/MaxCompute 15 年演进：
  • 2010 年：首个版本聚焦 SQL 引擎性能。
  • 2014 年：对外发布，成为阿里云首个大数据服务。
  • 2023 年：MaxCompute 4.0 引入 Data + AI 融合。
  • 2025 年：计划支持异构计算（CPU/GPU 统一调度）。

2. 核心能力

• 极致弹性 Serverless：
  • 10 秒内拉起 10 万 CU 计算资源，按需付费（Pay as you go）。
  • 存算分离架构，支持增量计算与查询加速（MaxQA）。
• 多模态数据统一管理：
  • Object Table：结构化管理非结构化数据（图像、文本等）。
  • 湖仓一体：统一元数据服务（MaxMeta）与访问通道（MaxStorageAPI）。
• 无缝连接数据与模型开发：
  • MaxFrame 引擎：分布式 Python 计算，兼容 Pandas，支持 AI 算子调用。
  • AI Function：低门槛 SQL 调用模型（如 LLM），支持多模态推理。

3. 开发工具链升级

• DataWorks Copilot：
  • 智能 SQL 助手（生成、优化、错误修复），提效 30%+。
  • 支持 NL2SQL（基于 Qwen/DeepSeek 模型）。

• ChatBI：
  • 自然语言驱动数据分析，自动生成可视化报告（如订单分析、异常检测）。

🏭 四、行业应用场景

1. 大模型预训练优化
   • 文本去重算子：基于 MinHash+LSH 算法，性能提升 2 倍。
2. 跨模态数据处理
   • 图像预处理、图文解析等场景的分布式算子支持。

💎 五、总结

阿里云 MaxCompute 与 DataWorks 通过 弹性 Serverless 架构、多模态统一管理 和 Data + AI 一体化开发，解决了企业数据孤岛、运维成本高、开发效率低等痛点。未来平台将持续深化异构计算与 AI 融合能力，推动数据价值直接转化为业务成果。

来源：张治国（阿里云 MaxCompute 负责人）在 DataFun 社区的分享，编辑于 2025 年 8 月。