huggingface 名词速览表

tomlone

649人浏览 · 2025-12-07 20:57:30

tomlone · 2025-12-07 20:57:30 发布

🤖 AI/ML 技术名词速览表

1. 深度学习核心框架与高级 API

框架/库	核心功能	描述
PyTorch	深度学习框架	动态计算图，研究领域流行。
TensorFlow	深度学习框架	生产部署强大，Google 主导。
JAX	数值计算/DL	自动微分，JIT 编译，高性能研究。
Keras	高级 API	多后端支持 (TF, PyTorch, JAX)，快速实验。
TF-Keras	高级 API	在 TensorFlow 生态内使用的 Keras 实现。
fastai	高级 DL 库	基于 PyTorch，提供高层次 API 和最佳实践。
PaddlePaddle	深度学习平台	百度开源，全流程支持，国内广泛应用。
MLX	深度学习框架	苹果公司开发，专为 Apple 芯片优化。

2. 预训练模型生态与 Transformer 库

框架/库	核心功能	描述
Transformers	预训练模型库	Hugging Face 主导，提供大量 SOTA 模型 (LLM, BERT 等)。
Diffusers	扩散模型库	Hugging Face 主导，用于图像生成 (如 Stable Diffusion)。
PEFT	高效微调	Parameter-Efficient Fine-Tuning，用于 LLM 等的高效微调 (如 LoRA)。
sentence-transformers	句子嵌入	生成高质量句子向量，用于语义搜索和聚类。
setfit	文本分类	基于 Sentence-Transformers 的高效 Few-Shot 文本分类。
timm	计算机视觉	Pytorch Image Models，大量 SOTA 图像分类模型。
OpenCLIP	多模态模型	用于实现和训练 CLIP 模型的 PyTorch 库。
Adapters	模型微调	插入小型、可训练模块进行高效微调的技术。

3. 模型部署、优化与格式

框架/库	核心功能	描述
Safetensors	模型存储格式	安全、高效地存储张量/模型权重的新格式。
GGUF	模型存储格式	用于在 CPU 上高效运行 LLM 的特定格式。
ONNX	模型互操作性	开放神经网络交换格式，用于模型跨框架部署。
OpenVINO	部署与优化	Intel 工具套件，用于模型优化和在 Intel 硬件上部署。
Core ML	设备端部署	苹果框架，用于在 iOS/macOS 设备上运行模型。
Transformers.js	Web 推理	在浏览器中运行 Hugging Face Transformer 模型。
LiteRT	推理引擎	轻量级深度学习推理引擎。
llamafile	模型分发	将 LLM 和推理引擎打包成一个可执行文件。

4. 特定任务、工具与传统 ML

框架/库	核心功能	描述
TensorBoard	可视化工具	用于跟踪实验指标、模型图和训练过程。
stable-baselines3	强化学习 (RL)	基于 PyTorch 的 SOTA RL 算法实现。
ml-agents	强化学习 (RL)	Unity 引擎的工具包，用于在游戏和模拟中训练智能体。
Scikit-learn	传统机器学习	Python 中最流行的分类、回归、聚类算法库。
Joblib	并行计算/序列化	用于加速 Python 函数和对象的序列化 (如缓存模型)。
Rust	编程语言	高性能、内存安全的编程语言，常用于底层 ML 工具。
sample-factory	强化学习 (RL)	高吞吐量和可扩展的 RL 训练库。

5. 自然语言处理 (NLP) 与语音处理

框架/库	核心功能	描述
spaCy	工业级 NLP	高效的 tokenization、NER、POS 等基础 NLP 功能。
Flair	序列标注	提供 SOTA 嵌入和序列标注模型 (NER, POS)。
BERTopic	主题建模	基于 BERT 嵌入，生成高质量的主题模型。
NeMo	对话式 AI	NVIDIA 工具包，专注于语音识别、NLU 和 TTS。
fastText	文本表示/分类	高效的词向量和文本分类库。
Stanza	多语言 NLP	斯坦福大学的，提供多语言全套 NLP 功能。
speechbrain	语音处理	开源语音工具包，用于语音识别、增强等。
pyannote.audio	语音分析	说话人识别和 diarization (说话人分段)。
AllenNLP	NLP 研究框架	基于 PyTorch，方便研究人员构建和分享 NLP 模型。
ESPnet	语音识别/合成	端到端的语音处理工具包。
Fairseq	序列到序列	专注于神经机器翻译等序列任务的工具包。
paddlenlp	NLP 工具包	百度飞桨生态下的 NLP 库。

6. 垂直领域与硬件加速

框架/库	核心功能	描述
PaddleOCR	光学字符识别 (OCR)	百度飞桨生态下的超轻量级 OCR 工具包。
Asteroid	语音分离/增强	用于语音信号处理的 PyTorch 工具包。
Habana	AI 硬件	英特尔旗下，提供 AI 训练和推理加速器。
Graphcore	AI 硬件	提供智能处理器 (IPU)，用于加速机器学习。
unity-sentis	游戏内推理	Unity 引擎内置的 AI 推理引擎。
DDUF	(待定)	可能是特定研究领域的框架，如深度扩散模型相关。
univa	(待定)	可能是企业级 AI 或计算相关的解决方案。

2048 AI社区

有“AI”的1024 = 2048，欢迎大家加入2048 AI社区

更多推荐

Kubernetes CoreDNS 解析超时排查（ndots 与 NodeLocal DNSCache）

CoreDNS 超时先用 ClusterIP 直连排除数据面，再读 Pod的ndots 与 search。默认 ndots:5 让短名查询放大数倍，AAAA 再乘一倍。指标上区分 NXDOMAIN 瀑布和真正的 SERVFAIL/p99。NodeLocal DNSCache 降 RTT、不消灭放大；根上仍是 FQDN 或谨慎的 dnsConfig。改 DNS 全局配置必须可回滚，禁止先停 Core