本人之前是做音视频相关的前后端开发，有 15 年 + 相关的工作经历。熟悉 FFmpeg、WebRTC 以及各类编解码协议，见证了多媒体技术从标清到 8K 的演进。随着AI时代的来临和Open Claw 相关应用的大火，学习AI模型也是每一个程序猿的必备功课，本文也是学习笔记也是部分学习阶段的总结和心得。


        以前做音视频开发时，我们常说 “编解码决定上限，硬件决定下限”。现在看 AI 模型推理，逻辑是完全一样的。随着 AI 模型推理计算从 云端 下沉到 边缘计算，再到 终端手机 / PC，未来的软件开发架构确实发生了质变。

        在Hugging Face 和 魔塔社区 以及国内老牌的CSDN上，下面是：这些框架、库、工具、文件格式或编程语言等
PyTorch、TensorFlow、JAX、Safetensors、Transformers、PEFT、TensorBoard、GGUF、Diffusers、ONNX、stable-baselines3、sentence-transformers、ml-agents、MLX、TF-Keras、Keras、Adapters、Joblib、setfit、timm、Transformers.js、sample-factory、OpenVINO、Flair、fastai、ESPnet、BERTopic、spaCy、NeMo、Core ML、LiteRT、fastText、Yolo、OpenCLIP、Rust、Scikit-learn、KerasHub、Asteroid、speechbrain、AllenNLP、llamafile、Fairseq、PaddlePaddle、PaddleOCR、Stanza、pyannote.audio、Habana、Graphcore、SpanMarker、paddlenlp、unity-sentis、DDUF、univa

经过学习总结：所有硬件加速真正依赖的数学算法只有 6 种：

1.矩阵乘法 / 张量收缩

2.向量 / 张量点积

3.线性变换（缩放、偏移）

4.稀疏矩阵运算

5.Softmax 等归一化函数

6.分块 / 并行线性代数计算


上面理论总结，下面部分是使用 Geekbench AI 工具在Win11、Android、Mac OS系统上，不同芯片的跑分截图：
Android-16-荣耀100Pro评测TensorFlowLite框架-CPU


Android-16-荣耀100Pro评测TensorFlowLite框架-GPU

Android-16-荣耀100Pro评测TensorFlowLite框架-NNAPI

Android-16-荣耀100Pro评测TensorFlowLite框架-QNN

Mac OS系统M1芯片- NPU

Mac OS系统M1芯片-CPU


Mac OS系统M1芯片-GPU

Win11-i9-12900HX-16G-nVidia4060-8G-ONNX-CPU

Win11-i9-12900HX-16G-nVidia4060-8G-ONNX-DirectML

Win11-i9-12900HX-16G-nVidia4060-8G-OpenVINO-CPU

Win11-i9-12900HX-16G-nVidia4060-8G-OpenVINO-GPU

根据综上所述：
        【AI 模型推理计算】和【音视频编解码计算】的硬件加速逻辑高度相似，核心均以芯片加速为主导、起决定性作用—— 二者的性能上限，本质都是由芯片内置的专用计算单元（AI 推理依赖张量核心 / NPU/DSP，音视频编解码依赖专用编解码单元）决定，脱离芯片硬件的原生支持，任何上层优化都难以实现质的突破。
        而【超级系统级别】【计算框架级别】做不到加速效果，而是这两个层面的加速的是 “辅助性、赋能性” 的，无法脱离芯片硬件实现数倍到数十倍的性能跃升；只有芯片级的解决方案（专用计算单元 + 厂商原生 SDK / 驱动），才能实现核心计算的根本性提速，这一点在 AI 模型推理和音视频编解码中完全一致。

所以我们主要关注芯片厂商的解决方案：
骁龙芯片：QNN + Hexagon DSP
华为芯片：芬奇 NPU（Ascend NPU） + CANN
联发科：APU（AI Processing Unit）+ NeuroPilot
Intel：CPU/iGPU/NPU + OpenVINO
Apple：Neural Engine + MLX
三星：NPU + Samsung Neural SDK
NVidia：GPU（Tensor Core）+ CUDA / TensorRT / cuDNN
AMD：Instinct GPU / Ryzen AI NPU / FPGA +  ROCm / Vitis AI / Lemonade
等等其他国产芯片厂家解决方案。

-----------------------------------------------------------------------------------------------


维度                音视频编解码 (AV)                                    AI 模型推理 (AI)

核心硬件        专用编解码单元 (VCE/NVENC)                张量计算单元 (Tensor Core/NPU)

数据格式        YUV/RGB (8bit 固定)                                FP32/FP16/INT8 (动态变化)

加速逻辑        硬件电路实现特定算法 (H.264/AV1)        硬件加速线性代数运算 (矩阵乘)

痛点                码率、画质、延迟                        ​​​​​​​            精度、显存、算力利用率

# 人工智能
Logo
2048 AI社区

有“AI”的1024 = 2048，欢迎大家加入2048 AI社区

更多推荐

cover

大模型必备数学_线性代数核心概念速览

avatar 2048 AI社区
cover

OpenClaw 部署避坑指南，网关离线、路径报错解决方案

avatar 2048 AI社区

零信任项目为什么 35% 会失败？从 ASL 峰会聊“零信任+AI“的工程化解法

Gartner 调查显示，35% 尝试过零信任的组织经历过损害业务的失败，根因多为"只验身份、没验终端"——持续验证的前提是终端可见性。10 月 21 日，ASL 第四届中国科技驱动创新峰会在香港举行，Leagsoft展示的"零信任+终端安全+AI"一体化思路给出工程化解法：以零信任接入为骨架，统一入网检查、威胁检测与数据防泄漏至同一信任判断框架，再叠加 AI 灵犀网关（Token 费用降 50-

avatar 2048 AI社区