登录社区云,与社区用户共同成长
邀请您加入社区
当单卡无法容纳模型,或者大模型训练耗时过长时,开发者通常会考虑多 GPU。但“多插几张卡”并不等于训练速度自动翻倍。多卡之间需要同步梯度、交换数据,如果代码结构、通信或数据加载没有处理好,GPU数量增加后反而可能出现利用率下降。多 GPU 常见方式包括数据并行、张量并行和流水线并行。对于普通 PyTorch 深度学习项目,从单卡迁移到 DistributedDataParallel(DDP)通常是
本文面向深度学习新手,基于 PyTorch 从零搭建 MLP 多层感知机,完成 MNIST 手写数字识别任务。全文通俗讲解输入层、隐藏层、输出层、激活函数核心概念,拆解神经网络前向传播、损失计算、反向传播、权重更新四步训练闭环。同时提供完整可运行代码、训练调参、数据集解析、实拍图片 OpenCV 推理实战,并汇总新手高频踩坑问题,最后点明 MLP 缺陷,为后续 CNN 学习做铺垫。
这一将的概念比较多,还是得花点时间记忆一下;实际上卷积的种类不止介绍的这个普通卷积;比如还有深度可分离卷积,分组卷积,空洞卷积等等内容;后面我们专栏AI筑基录也会慢慢推进这一些内容;有了前面几期的内容,我们下一期就是用 MNIST 数据集做一个简单的实战,我们用完整的神经网络做一个分类任务;浅浅期待一下;AI筑基录的专栏会慢慢更新完,带大家有体系的理解神经网络的由来!0+0+0
一、什么是RAGRAG的全称是Retrieval-augmented Generation,意思是检索增强生成,它是一种结合检索和生成技术的模型。RAG通过引用外部知识库的信息来生成回答,具有较强的可解释性和定制能力,常用于客服系统、智能助手等问答任务。虽然大模型很智能了,但它有两个短板:1、知识有截止日期,不懂新知识因为大模型训练到某一天就停止学习,比如模型训练数据截止到2025年,那么2026
本文介绍了大模型开发的基础环境搭建流程,重点讲解如何在MacOS上安装Miniconda并配置Python环境。文章强调深度学习项目依赖稳定的基础环境(Python、包管理、PyTorch、GPU支持),并通过详细步骤指导读者完成Miniconda下载、校验、安装及验证。内容包括: Miniconda安装:从官网下载安装包,校验SHA-256哈希值确保安全性,通过终端命令完成安装并初始化conda
本文完成了基于 CUDA 与 Transformers 的 Qwen2.5-VL 本地部署,并结合完整代码详细分析了多模态大模型从图片输入、文本编码到最终生成回答的完整推理流程。
摘要 自然语言处理(NLP)作为人工智能的核心领域,正经历从规则系统到深度学习的技术变革。大模型的出现重塑了行业格局,传统技术岗位需求减少,同时催生了模型优化和垂直应用的新机遇。NLP处理的核心是序列数据,包括时间序列和文字序列。文字数据需通过分词转化为数字表示,中文分词面临独特挑战,现有jieba、HanLP等工具采用词典、统计和深度学习方法。序列数据的处理需要考虑时间步和语义顺序,这对算法设计
从MHA出发,源码级推导MQA、GQA、MLA四种注意力机制的演进路径,用PyTorch实现每一种变体并给出完整的性能基准测试。重点解析DeepSeek MLA的低秩联合压缩原理与解耦RoPE设计
TensorFlow、PyTorch与Keras是深度学习的三大主流工具。Keras现为TensorFlow的高级API(tf.keras),而非独立框架。TensorFlow(含tf.keras)适合快速原型开发和生产部署,尤其在移动端和标准化任务中优势明显;PyTorch则以灵活性和动态计算图见长,是学术研究和前沿模型开发的首选。实际选型应基于需求:企业级MLOps和部署优先选TensorFl
TensorFlow与PyTorch对比摘要 TensorFlow和PyTorch是两大主流深度学习框架,核心差异显著: 设计理念:TensorFlow以静态图和生产部署见长,PyTorch以动态图和灵活调试著称 代码风格:TensorFlow(Keras API)更简洁,PyTorch更贴近Python原生语法 生态系统:TensorFlow在移动端/TFLite部署领先,PyTorch主导学术
本文基于PyTorch实现线性回归模型,通过可视化分析训练过程。首先绘制损失曲线,观察模型在前40轮快速收敛、后期趋于稳定的特点;接着展示样本散点图与预测拟合线,验证模型预测效果近乎完美。文章揭示了AI三要素(数据、算法、算力)的协同作用,并指出固定学习率的局限性。最后展望进阶方向,建议采用动态学习率优化,并预告将从线性模型扩展到非线性模型的深度学习内容。全文通过代码示例和可视化图表,完整呈现了线
PyTorch 的目录本质上是一幅深度学习系统栈的完整拼图硬件覆盖的广度:从 NVIDIA(CUTLASS/NCCL/cudnn_frontend)到 AMD(composable_kernel/aiter)到 Intel(ideep/ittapi)到 ARM(kleidiai/XNNPACK),再到 Vulkan 移动 GPU,几乎覆盖所有主流计算硬件性能层次的深度。
深度学习是机器学习的“升级版”,机器学习是深度学习的“基础版”;机器学习靠人工引导找规律,深度学习靠自主学习挖特征;机器学习适合简单场景、轻量实现,深度学习适合复杂场景、海量数据,两者相辅相成,共同构成AI的核心技术体系。AI入门没有捷径,循序渐进、脚踏实地,先搞懂基础概念,再逐步深入,才能稳步提升。希望本文能帮零基础的你,理清机器学习与深度学习的关系,避开学习误区,顺利开启AI学习之路。
这是将仿真环境与SAC算法对接的关键。要素定义方法(参考案例状态空间State包含三个部分:1.关节状态:当前机械臂各个关节的角度(θ)和速度(v)2.目标位置:深度相机获取的目标螺栓的欧式坐标(p)3.终点坐标:最终期望到达的目标坐标(t)动作空间Action6轴机械臂的连续控制信号。通常为6个关节的目标角度增量或扭矩,记为奖励函数Reward奖励函数是引导智能体学习的关键。一个有效的设计思路是
本文介绍了在Mac系统上使用Transformers库对Qwen3.5-27B大模型进行推理的环境配置和实现方法。主要内容包括:1) 推荐使用Python 3.11、PyTorch 2.6和最新版Transformers库的环境配置;2) 通过conda创建环境并安装核心依赖的详细步骤;3) 提供了完整的非量化版模型推理代码示例;4) 特别指出在macOS上GPTQ量化方案存在重大限制,虽然可以安
NUE-NeRF-nav实验复现摘要:本文档详细记录了IROS 2024论文《Enhancing Exploratory Capability of Visual Navigation Using Uncertainty of Implicit Scene Representation》的复现流程。项目基于NeRF隐式场景表示,通过不确定性估计增强视觉导航能力,实现Image-Goal导航任务。复
HarmonyOS设备标识技术解析与隐私保护实践 本文系统介绍了HarmonyOS中的设备标识技术体系,重点分析了AAID、OAID和ODID三种核心标识符的特性与应用场景。针对元服务开发场景,提供了完整的AAID获取解决方案,包括代码实现、权限配置和错误处理机制。同时深入探讨了在广告分析、用户行为追踪等业务场景下的应用方案,以及隐私合规要求下的最佳实践。文章还涵盖了性能优化策略、测试方法和常见问
摘要(148字): 2015-2025年,自然语言处理(NLP)实现从规则匹配到通用大模型的革命性跃迁,成为AI认知核心底座。技术演进分四阶段:2015-2017年统计机器学习主导,海外垄断;2018-2020年Transformer与预训练范式兴起,国产技术突破20%自主化;2021-2023年ChatGPT引爆大模型,国产化率达60%;2024-2025年进入普惠期,全模态融合与国产全栈自主可
Apache OpenNLP十年演进(2015-2025)完成了从传统统计NLP工具到企业级Java大模型核心基础设施的跨越式发展。初期(2015-2017)以统计机器学习为基础,成为Java生态NLP工业标准;转型期(2018-2020)引入词向量支持,向深度学习靠拢;跃升期(2021-2023)通过2.0版本集成ONNX Runtime,实现Transformer大模型原生支持;成熟期(202
多模态AI十年演进:从实验室走向千行百业(2015-2025) 过去十年,多模态AI完成了从实验室算法到通用核心技术的革命性跃迁。技术路线从早期的双分支浅层融合,演进为全模态端到端统一大模型;应用场景从简单的图文检索扩展到AIGC、自动驾驶、具身智能等千行百业。这十年可划分为四个关键阶段:2015-2017年的启蒙垄断期(双分支浅层融合)、2018-2020年的工程突破期(Transformer落
《语音识别十年演进(2015-2025)》摘要: 2015-2025年,语音识别技术完成革命性跃迁,从传统混合架构发展为端到端语音大模型体系。这十年可分为四个阶段:启蒙垄断期(2015-2017)完成深度学习替代传统模型;工程突破期(2018-2020)实现端到端架构成熟和多场景适配;爆发跃升期(2021-2023)进入大模型时代;普惠成熟期(2024-2025)形成AI-Native语音智能体系
摘要 2015-2025年是语义分析技术实现革命性跃迁的关键十年。这期间,语义分析从传统NLP的浅层词法句法匹配,发展为具备深层语义理解与逻辑推理能力的核心技术。技术演进经历了四个阶段:启蒙垄断期(2015-2017)以规则与统计学习为主;工程突破期(2018-2020)由Transformer和BERT推动预训练范式;爆发跃升期(2021-2023)进入大模型时代,实现生成式语义理解;普惠成熟期
模型稳定性十年演进(2015-2025)摘要 2015-2025年是模型稳定性从金融领域扩展至AI全场景的变革十年。核心从传统机器学习的离线过拟合防控,发展为覆盖大模型全生命周期的主动稳定保障体系,实现五大能力跃升:一致性、可靠性、鲁棒性、可控性、持续性。 演进历经四大阶段: 启蒙垄断期(2015-2017):聚焦金融领域传统模型的离线优化,国产化率不足5%; 工程突破期(2018-2020):扩
摘要:2015-2025年模型监控演进综述 模型监控在2015-2025年完成了从金融领域事后校验到大模型全生命周期管控的革命性转变。这十年经历了四个关键阶段: 启蒙期(2015-2017):金融领域传统模型的离线监控,国产化率不足5% 突破期(2018-2020):深度学习全场景实时监控兴起,国产化率达20% 爆发期(2021-2023):大模型监控需求激增,国产化率突破60% 成熟期(2024
模型风险管理十年演进(2015-2025)摘要 2015-2025年见证了模型风险管理从金融领域单一验证工具发展为AI全生命周期安全核心的跨越式发展。这十年经历了四个关键阶段:启蒙垄断期(2015-2017)聚焦金融模型事后验证;工程突破期(2018-2020)扩展至全AI场景;爆发跃升期(2021-2023)应对大模型风险治理;普惠成熟期(2024-2025)形成AI-Native原生体系。核心
摘要(150字): 2015-2025年是大模型服务化从单点API向全链路MaaS生态跃迁的黄金十年,核心是通过标准化服务形态屏蔽技术复杂度,推动AI规模化落地。十年演进分为四大阶段:2015-2017年启蒙垄断期,以小模型API为主,海外巨头垄断市场;2018-2020年工程突破期,Transformer架构推动大模型服务化诞生,国产化率突破20%;2021-2023年爆发跃升期,ChatGPT
摘要 2015-2025年是模型解释性(XAI)技术实现革命性跃迁的关键十年,其从机器学习辅助工具发展为AI落地的核心合规基建。这期间,XAI技术完成了四大里程碑式演进:启蒙垄断期(2015-2017)确立事后解释框架;工程突破期(2018-2020)形成XAI体系,实现事前可解释建模;爆发跃升期(2021-2023)重构大模型可解释性范式;普惠成熟期(2024-2025)建立全链路可解释体系。核
摘要:2015-2025年是智能语言模型从专用工具发展为通用人工智能核心底座的十年变革期。这期间经历了四次关键跃迁:2015-2017年的启蒙垄断期(RNN/LSTM主导,Transformer奠基);2018-2020年的工程突破期(预训练范式确立,百亿参数突破);2021-2023年的爆发跃升期(大模型涌现能力验证,国产化率达60%);2024-2025年的普惠成熟期(全模态统一,国产化率超7
2015-2025年是模型架构设计从专用任务导向转向通用人工智能的关键十年。这十年经历了四大里程碑阶段:2015-2017年CNN/RNN分治的启蒙垄断期,2018-2020年Transformer大一统的工程突破期,2021-2023年大语言模型爆发跃升期,2024-2025年普惠成熟期。核心技术从残差连接、注意力机制演进到稀疏混合专家、多模态融合等创新,支撑AI从实验室走向千行百业。国内产业规
摘要:2015-2025年超参数调优技术经历了革命性演进,从人工试错发展为AI全生命周期的核心基础设施。这十年可分为四个阶段:启蒙垄断期(2015-2017)以人工调优为主,海外垄断;工程突破期(2018-2020)自动化调优成熟,国产技术从0到1突破;爆发跃升期(2021-2023)应对大模型需求,国产化率达60%;普惠成熟期(2024-2025)实现全栈自主可控,国产化率超75%。技术从网格/
摘要:2015-2025年是云原生模型训练从实验室走向产业落地的关键十年,完成了从小众技术到AI基础设施的革命性转变。这十年经历了四个发展阶段:启蒙垄断期(2015-2017)以Docker容器化和TensorFlow分布式训练为代表;工程突破期(2018-2020)MLOps标准化和国产化突破;爆发跃升期(2021-2023)大模型训练需求推动万卡集群和Serverless技术成熟;普惠成熟期(
摘要:2015-2025年,AI模型推理技术完成从CNN到通用人工智能的革命性跃迁 这十年间,模型推理从计算机视觉的辅助环节发展为覆盖全AI领域的核心技术,技术路线从人工优化演进为AI编译器驱动的全链路优化,国产化率从不足5%提升至75%以上。 四大演进阶段: 启蒙垄断期(2015-2017):CNN时代,GPU替代CPU成为主流,TensorRT奠定基础,海外技术垄断,国产化率不足5%。 工程突
摘要 2015-2025年是大语言模型应用从专用工具发展为通用AI基础设施的十年变革期。这期间经历了四大阶段演进:2015-2017年启蒙期以RNN/LSTM模型为主,应用局限于机器翻译等窄场景;2018-2020年突破期Transformer架构兴起,预训练范式确立,应用扩展到智能客服等领域;2021-2023年爆发期ChatGPT引爆千亿级大模型,应用渗透各行业;2024-2025年成熟期实现
摘要 2015-2025年是数据增强技术实现从计算机视觉辅助工具到通用AI核心基建的革命性十年。其演进历程可分为四个关键阶段:2015-2017年以CV领域手工规则增强为主,国产化率不足5%;2018-2020年自动化增强兴起,国产化率突破20%;2021-2023年生成式增强主导大模型时代,国产化率达60%;2024-2025年形成全模态统一增强框架,国产化率超75%。技术路线从简单数据扩充发展
大家好,我是唐宇迪,资深AI讲师、学习规划师,专注计算机视觉与目标检测教学已经有10年+。这些年,我带过上千名零基础学员,从文科转行的小白、在校大学生,到职场跨行的新人,我会像在课堂上一样,一步步拆解,穿插真实学员案例、迪哥小提示和避坑指南,让你读完不仅不焦虑,还能立刻拿起电脑开始行动。
模型量化十年演进(2015-2025)摘要 2015-2025年是模型量化技术实现从CNN辅助优化到大模型核心基础设施革命性跃迁的十年。核心技术从8位后训练量化发展为全维度体系化方案,应用领域从计算机视觉扩展到全AI领域。这十年经历了四大里程碑阶段: 启蒙垄断期(2015-2017):CNN量化为主,海外垄断核心技术,国产化率不足5% 工程突破期(2018-2020):Transformer量化成
摘要: 2015-2025年是模型压缩技术从辅助优化手段发展为AI落地核心基础设施的十年。技术演进经历了四大阶段:2015-2017年启蒙期,以CNN模型剪枝、量化、蒸馏三大基础范式为主,海外垄断核心技术;2018-2020年突破期,Transformer专属压缩技术兴起,国产工具链初步成型;2021-2023年跃升期,千亿级大模型推动量化、稀疏化等技术重构,国产化率超60%;2024-2025年
模型融合技术十年演进(2015-2025)实现了从传统集成学习到通用人工智能时代深度融合的革命性跨越。这十年经历了四个关键阶段:2015-2017年传统集成学习成熟期,以XGBoost/LightGBM为代表;2018-2020年深度学习融合突破期,Transformer架构推动多模态融合;2021-2023年大模型爆发期,MoE架构成为核心;2024-2025年普惠成熟期,形成端云协同融合体系。
2015-2025年是大语言模型发展的黄金十年,完成了从技术萌芽到通用智能核心底座的范式革命。基于Transformer架构,通过海量无监督预训练获得语言理解和生成能力,颠覆了传统AI"一任务一模型"的范式。十年演进经历了四大阶段:2015-2017启蒙垄断期(技术源头萌芽)、2018-2020工程突破期(GPT/BERT确立)、2021-2023爆发跃升期(ChatGPT引爆
预训练模型十年演进(2015-2025)经历了从静态词向量到通用人工智能核心底座的范式革命。这十年可分为四个阶段:启蒙垄断期(2015-2017)由海外巨头主导静态词向量预训练;工程突破期(2018-2020)BERT与GPT双主线确立,"预训练+微调"成为标准范式;爆发跃升期(2021-2023)大语言模型全面爆发,国产化率达60%;普惠成熟期(2024-2025)实现全栈自
十年间,文法规则完成了最核心的范式革命,从2015年需要人工编写海量规则、标注大规模树库的显式句法匹配,升级为2025年大模型隐式内化全量语言规则+显式专业约束结合的通用体系。十年前,文法规则的核心是“刻画句子的形式结构”,仅能适配封闭域固定场景;十年后,文法规则的核心是“理解语言的深层逻辑与真实意图”,可零样本适配全场景、全领域、全语言,完成了从“机械规则匹配”到“智能结构认知”的本质跨越。
摘要:语义解析十年演进(2015-2025) 2015-2025年是语义解析技术实现范式革命的十年,完成了从规则驱动到基于大模型的通用语义理解的根本性跨越。核心突破体现在五大维度:泛化性(从封闭域到开放域)、准确率(NL2SQL任务从20%提升至90%+)、推理能力(从单轮查询到多步推理)、跨域适配(国产化率从5%提升至75%+)以及应用场景(扩展到20+行业)。技术演进经历了四个关键阶段:启蒙垄
摘要:2015-2025年是模型加速技术从CNN推理优化发展为通用AI基础设施的黄金十年。这期间经历了四大里程碑阶段:启蒙垄断期(2015-2017)由英伟达TensorRT主导CNN推理加速;工程突破期(2018-2020)AI编译器兴起,实现Transformer全场景加速;爆发跃升期(2021-2023)大模型倒逼加速技术革新,国产化率达60%;普惠成熟期(2024-2025)端云协同加速成
2015-2025年是分布式训练技术从辅助算力扩展演变为AI核心基础设施的关键十年。这期间技术实现了四大跃迁:从单一数据并行发展为多维混合并行体系;从支持千万级CNN模型到适配万亿级大语言模型;国产化率从不足5%提升至75%以上;产业规模从3000万元增长至800亿元。技术演进经历了启蒙垄断期(2015-2017)、工程突破期(2018-2020)、爆发跃升期(2021-2023)和普惠成熟期(2
摘要:2015-2025年,文本生成技术完成了从模板化短句到通用语义生成的革命性跨越。这十年经历了四大发展阶段:启蒙垄断期(2015-2017)以统计模型为主;工程突破期(2018-2020)Transformer架构落地;爆发跃升期(2021-2023)大模型成为生产力底座;普惠成熟期(2024-2025)实现全栈自主可控。关键技术指标显著提升:长文本连贯性准确率从30%升至95%+,国产化率从
HappyTorch是一个PyTorch深度学习组件实现练习平台,旨在帮助学习者从理论理解到代码实践。该项目提供24个由浅入深的练习题,涵盖基础算子、Attention机制、Transformer模块及现代模型组件(如LoRA、RoPE等),支持Jupyter和Web两种练习模式,并配备自动评测系统。通过手写实现这些核心模块,学习者能更深入理解模型工作原理,特别适合准备机器学习面试或学习大模型的人
本文介绍了如何在PyTorch中使用TensorBoard进行模型训练可视化。主要内容包括:TensorBoard的基本功能(标量、张量、图像等可视化);安装方法;通过SummaryWriter记录训练数据;启动TensorBoard服务查看结果。文章还提供了代码示例,展示如何记录标量数据并生成可视化曲线。最后简要提及AI大模型的学习资源,包括提示词工程、RAG系统和智能体开发等内容,并附赠相关学
全分片数据并行(FSDP):将模型参数、梯度、优化器状态均匀分片到各个 GPU,每个 GPU 仅存储部分分片,训练时按需拼接完整参数,用完即释放的并行方案;DDP(分布式数据并行):传统数据并行方案,每个 GPU 存储完整模型副本,反向传播时通过 AllReduce 同步梯度,仅适用于中小模型;延迟初始化:先在虚拟 “伪设备” 上构建模型框架、记录初始化操作,再将模型拆分为小块逐一对齐到真实 GP
摘要 2015-2025年是情感分析技术实现范式革命的黄金十年,完成了从粗粒度文本极性判断到多模态通用情感认知的跨越式发展。这十年可分为四个关键阶段:启蒙垄断期(2015-2017)以统计机器学习为主,海外工具垄断市场;工程突破期(2018-2020)预训练模型重构技术范式,国产化率突破20%;爆发跃升期(2021-2023)大模型时代开启,国产化率超60%;普惠成熟期(2024-2025)实现全
2015-2025年,是仿人多指灵巧手完成核心范式革命的黄金十年,是全球灵巧手产业从欧美企业技术垄断,到中国全栈自研、量产规模全球领跑的历史性逆袭十年。这十年,灵巧手彻底打破了“高成本、短寿命、低泛化、纯机械执行”的核心桎梏,完成了从气动/液压驱动实验室原型到全电驱一体化量产产品、从预编程固定动作到AI驱动具身智能操作、从百万级天价到万元级全民普惠的四级跨越,也与此前系列的微型伺服系统、力触觉传感