为什么长期做量化，一定要先搭建自己的“数据中台”

很多人做量化，第一步就开始研究策略。

今天学一个 MACD，
明天学一个 AI 选股，
后天开始回测，
结果半年后发现：

策略越来越多，
代码越来越乱，
数据越来越碎，
最后整个系统根本无法扩展。

尤其是个人开发者、独立量化团队，经常会踩一个非常大的坑：

“把量化系统，当成了策略工程，而不是数据工程。”

事实上，真正长期能跑起来的量化系统，核心从来不是策略，而是：

数据底座（Data Foundation）

甚至可以说：

没有数据中台，就没有真正意义上的量化平台。

---

为什么数据底座如此重要？

量化系统本质上是：

“数据驱动系统”

所有策略、因子、回测、AI模型、风控、选股，本质都建立在数据之上。

如果数据层混乱：

• 指标无法统一
• 股票代码不一致
• 时间周期混乱
• 财务数据缺失
• 因子重复计算
• 回测与实盘数据不一致

那么后面的所有系统都会崩。

很多人一开始只有几十只股票的数据，
觉得 CSV 就够了。

但真正做半年以后，会发现：

• 日线
• 分钟线
• 基本面
• 财报
• 资金流
• 技术指标
• 因子库
• AI特征
• 新闻舆情
• 宏观数据

全部都会开始爆炸式增长。

这时候如果没有统一的数据中台，后期几乎无法维护。

---

一个成熟量化系统的数据结构应该是什么样？

一个长期可扩展的量化平台，建议至少包含以下核心数据层：

                    ┌─────────────────────┐
                    │    数据中台 / DataHub │
                    └─────────────────────┘
                               │
 ┌────────────────────────────────────────────────────────┐
 │                                                        │
 │ • daily_history   (日线行情 OHLCV)                      │
 │ • daily_basic    (基本面 PE/PB/换手率)                  │
 │ • moneyflow      (资金流向)                             │
 │ • stk_factor     (技术指标 MACD/KDJ/RSI)                │
 │ • stock_basic    (股票基础信息)                         │
 │ • balance_sheet  (资产负债表)                           │
 │ • income_statement (利润表)                             │
 │ • cash_flow      (现金流量表)                           │
 │                                                        │
 └────────────────────────────────────────────────────────┘
                               │
        ┌──────────────────────────────────┐
        │                                  │
        │  因子系统 / 回测 / AI / 策略引擎   │
        │                                  │
        └──────────────────────────────────┘

---

为什么建议“一开始”就搭建数据中台？

很多开发者会说：

“我现在策略还没跑通，先不用那么复杂。”

这是典型短期思维。

因为后期再重构数据层，成本会高得离谱。

尤其量化有一个特点：

数据会越来越多

而不是越来越少。

你今天只有：

• 500只股票
• 日线

未来一定会变成：

• 全市场
• 分钟线
• Tick
• 期货
• ETF
• 美股
• 港股
• AI特征
• 另类数据

如果数据结构一开始没设计好：

后期会进入：

• 表结构崩坏
• 查询极慢
• 指标重复计算
• Redis缓存失控
• CSV满天飞
• Python脚本互相依赖

最后系统完全不可维护。

---

量化真正的核心：不是策略，而是“数据复用”

大部分新手认为：

策略最重要。

实际上成熟量化团队更关注：

• 数据一致性
• 数据清洗
• 数据标准化
• 因子复用
• 特征工程
• 数据血缘
• 数据质量

因为：

好的数据层，可以无限复用

例如：

同一份 daily_history

既可以：

• 做动量策略
• 做 AI 训练
• 做因子分析
• 做行业轮动
• 做回测
• 做择时
• 做可视化
• 做选股器

真正值钱的，是：

“长期积累的数据资产”

而不是某一个短期策略。

---

推荐的数据中台设计思路

1. 原始数据层（ODS）

保持原始数据，不做修改。

例如：

ods_daily_history
ods_moneyflow
ods_financial

核心原则：

• 可追溯
• 不污染
• 永远保留原始源数据

---

2. 标准化层（DWD）

统一字段。

例如：

ts_code
trade_date
open
high
low
close
volume

不要：

• 有的表叫 code
• 有的叫 symbol
• 有的叫 stock_code

统一规范极其重要。

---

3. 因子层（DWS）

这里开始存放：

• 技术指标
• Alpha因子
• AI特征
• 行业特征
• 横截面特征

例如：

factor_momentum_20
factor_turnover_ratio
factor_pe_rank
factor_volume_breakout

---

4. 策略层（ADS）

真正给：

• 回测
• AI模型
• 选股器
• 前端接口

提供服务。

例如：

top_factors_daily
strategy_signals
stock_scores

---

一个很容易被忽略的问题：未来 AI 一定会深度介入量化

未来量化的核心趋势之一：

AI + 因子工程

而 AI 最大的问题是什么？

吃数据。

没有稳定的数据底座：

• 无法做特征工程
• 无法做时序训练
• 无法做多周期融合
• 无法做Walk-Forward
• 无法做因子挖掘
• 无法做AutoML

很多人最后不是死在策略，
而是死在：

“数据根本接不起来。”

---

个人开发者最推荐的技术架构

对于个人开发者或者小团队，其实没必要一开始就上 Hadoop。

完全可以：

数据存储

• PostgreSQL
• ClickHouse
• DuckDB
• Parquet

缓存层

• Redis

任务调度

• Airflow
• Celery
• Cron

数据处理

• Python + Pandas + Polars

因子计算

• TA-Lib
• vectorbt
• Qlib

---

一个成熟量化系统的真正演化路线

很多人的路径：

策略
→ 回测
→ 亏钱
→ 放弃

而成熟开发者的路径：

数据底座
→ 因子平台
→ 回测框架
→ AI特征工程
→ 自动选股
→ 多策略组合
→ 风控系统
→ 实盘交易

差别就在于：

是否把“数据”当成核心资产。

---

最后总结

长期做量化，最重要的不是：

• 先写策略
• 先做回测
• 先研究AI

而是：

先搭建自己的数据中台。

因为：

• 策略会失效
• 市场会变化
• 模型会过时

但：

高质量的数据资产，会不断复利。

真正的量化壁垒，
很多时候不是策略秘密。

而是：

你是否拥有一套长期积累、持续演化的数据底座。