登录社区云,与社区用户共同成长
邀请您加入社区
近日,摩尔线程正式开源AI智能体框架MTClaw,一款面向桌面控制场景的AI智能体加速方案。实测表明,MTClaw可将智能体单次任务执行速度提升约7倍、成功率可达100%。目前,MTClaw的完整代码、评测数据与配套插件已开放至摩尔线程GitHub官方仓库与OpenClaw官方插件市场ClawHub。
OrionX社区版是一款面向中小企业、开发者和高校科研团队的免费GPU池化工具,通过显存超分、GPU虚拟化等核心技术,实现算力资源的高效利用。该工具支持主流AI框架和云原生部署,提供可视化界面与开放API,并具备实时监控告警功能。用户只需简单申请即可零门槛使用,帮助降低算力成本、提升资源利用率,推动AI项目快速落地。
MemScope:一个面向大模型训练场景的显存分析工具
NVIDIA GPU架构的演进反映了计算需求的变化和技术发展的趋势。从Volta专注于AI计算,到Turing引入实时光线追踪,再到Ampere和Hopper在AI训练领域的持续突破,以及Blackwell在多媒体处理方面的增强,每一代架构都在特定领域实现了显著进步。
UWA AI、社区双助力,解难题更高效
本文探讨了GPU集群中集体通信操作(如AllGather、AllReduce、AllToAll)的性能分析与优化策略。重点比较了TPU和GPU在节点内及跨节点通信中的差异,详细阐述了NCCL库和NVSHMEM的实现原理,并分析了NVIDIA的SHARP技术对AllReduce操作的性能提升效果。通过理论计算和实测数据对比,指出在实际应用中带宽利用率与理论值的差距。文章还提供了多个具体场景的计算示例
补充说明:智星云为安诺其集团(股票代码:300067)全资子公司旗下算力服务平台,2019年正式上线,截至目前已服务16万+用户,其计费模式、服务稳定性等指标具有行业参考性,本文以其方案为案例,仅为更直观拆解逻辑,不做平台推荐。核心提示:本文所有数据、案例均基于公开可查信息,无任何营销导向,重点聚焦“计费逻辑+防坑”,适配AI训练、科研计算、渲染等技术场景,适合个人开发者、高校实验室、企业技术团队
近日,摩尔线程以旗舰级AI训推一体全功能GPU MTT S5000的强劲算力,深度赋能五一视界下一代智驾仿真平台 SimOne 4.0,双方已高效完成系统性适配与深度优化。
摘要:本教程介绍在Windows11环境下使用LMStudio替代Ollama搭建OpenClaw本地推理服务的方法。通过三步配置(开启CUDA加速、启动无界面服务、建立OpenAI兼容接口),可充分发挥NVIDIA显卡(如RTX3090)的算力优势。文章详细演示了LMStudio的GPU加速设置和后台服务开启流程,为后续OpenClaw对接奠定基础。该方案解决了Windows平台下Ollama无
Z-Image是一款功能强大的基础生成模型,具备高质量输出、多样风格覆盖和精准提示响应能力。作为完整容量的Transformer模型,它支持无分类器引导控制,提供丰富的视觉表达,从写实摄影到动漫插画。该模型特别适合创意探索,能显著提升输出多样性,并支持LoRA微调和ControlNet集成。现已上线趋动云平台,用户可一键部署体验,同时平台提供新客专享150元算力金活动。模型支持开发者快速构建细分领
摘要 本文介绍使用byte_micro_perf和llmperf两款工具测试GPU性能的方法。测试分为微观算力测试和宏观推理测试两个层次:前者测试基础计算单元性能(如矩阵乘法、激活函数等),后者测试真实大语言模型的端到端性能(如吞吐量、延迟)。文中详细说明了测试环境准备、模型下载、Docker容器配置等步骤,并提供了测试结果解读方法。通过这两个工具,用户可以获取专业级的GPU性能数据,为硬件选择提
GPU驱动故障排查是算力中心运维的重要技能,通过系统化的排查方法、丰富的工具使用经验和持续的学习积累,我们可以快速定位和解决各种GPU驱动问题。科学的排查方法论是成功解决问题的基础熟练使用各种诊断工具可以提高排查效率积累故障排查经验,建立知识库预防性维护可以减少故障的发生团队协作和知识共享可以解决更复杂的问题通过不断学习和实践,我们可以成为GPU驱动故障的"诊断专家",确保算力中心的稳定运行,为A
GPU驱动问题是算力中心运维中的常见挑战,但通过系统化的排查方法和丰富的经验,我们可以快速诊断和解决这些问题。在多GPU环境中,确保所有节点使用相同版本的驱动定期检查驱动更新,但在生产环境中要谨慎测试后再部署建立GPU状态和驱动健康的监控机制详细记录每次问题和解决方案,定期复盘在更新驱动前,准备好回退到之前版本的方案通过这些措施,我们可以大大减少GPU驱动问题对算力中心运行的影响,确保AI训练和推
想象你买了一台最新的智能洗衣机,如果没有安装相应的控制程序,洗衣机就只是一堆金属零件,无法正常工作。GPU驱动就是让GPU能够正常工作的控制程序,它充当着GPU硬件和操作系统、应用程序之间的翻译官。GPU驱动是连接GPU硬件和上层应用的桥梁,它的重要性不亚于GPU硬件本身。理解GPU驱动的基本概念和作用掌握GPU驱动的版本体系和兼容性了解GPU驱动与AI框架的关系熟悉GPU驱动的相关工具和优化方法
CPU与GPU在大模型推理中的差异在于适用场景
2026年初,国产GPU赛道迎来重磅投资:国企混改基金战略入股曦望科技,推动其注册资本从5亿跃升至8.15亿元。作为专注AI推理芯片的差异化玩家,曦望获得近30亿元融资,形成"国资+产业+市场资本"的黄金组合。其技术突破包括采用LPDDR6显存方案,实现推理成本下降90%,并提出"百万Token一分钱"目标。这支融合商汤、AMD、百度基因的团队,正通过混改模式探索国产芯片突围路径,但面临生态建设和
最后,文章重点对比了 PCIe 与 SXM 封装形式及 NVLink 互连方案的优劣,并基于计算能力、内存和互联性能三大维度,为 AI 工程师提供了在不同部署环境下(云端或本地)选择 GPU 的实用决策框架。带宽是另一个关键的性能维度。从大家用来训练 LoRA 适配器的 RTX 3/4/590,到驱动(并仍在驱动)大语言模型集群的 H100,再到专为大规模生成式 AI 训练与推理而进入数据中心的全
春节档是AI应用面临的高峰压力测试时刻,传统云服务扩容慢、成本高、资源不稳定。共绩算力凭借分布式算力网络、秒级弹性扩容、按秒计费和企业级稳定性保障,成功帮助客户在50小时内将算力从200卡扩容至1900卡,承接50万用户并发,成本节省70%。共绩提供容器化部署、智能调度和全托管服务,支持快速迁移和自动扩缩容配置,适用于AIGC、游戏AI、电商推荐等场景。现在注册可享免费体验和多重福利,技术团队全程
GPU监控是算力中心监控体系的核心组成部分,对于保障AI训练、科学计算等高性能计算任务的稳定运行至关重要。实时状态感知:实时掌握GPU设备的工作状态性能优化指导:为性能优化提供数据支持故障预警预防:提前发现潜在故障,减少业务中断资源规划依据:为容量规划提供数据基础成本控制支持:优化GPU资源使用,降低运营成本随着AI和HPC应用的不断发展,GPU监控的重要性将进一步提升。建立专业、全面的GPU监控
英伟达(NVIDIA)的GPU发展史是一部从专用图形处理到通用并行计算,再到如今主导人工智能计算的宏伟史诗。自1999年正式提出“GPU”概念以来,英伟达已推出了十余代核心架构,每一次迭代都深刻地影响了计算机图形学、高性能计算和人工智能的发展轨迹。从最初的图形加速器到如今驱动全球AI革命的计算引擎,英伟达GPU的演进史就是一部不断突破边界、重塑行业的创新史。: 打破图形与计算的边界,通过CUDA平
AI应用春节流量大考:Remy与共绩科技的成功案例揭示算力弹性调度重要性。3D内容平台Remy在华为发布会后遭遇50万用户集中访问,共绩科技通过秒级扩容至1900张GPU卡确保流畅体验。该案例凸显AI企业在节日流量洪峰中面临的算力挑战,以及弹性算力调度系统的关键作用——实现秒级扩缩容、99.99%稳定性,避免资源浪费。共绩科技的"智能算力电网"解决方案,已为5000+团队提供支
全程聚焦 **“是什么 + 怎么干 + 核心区别”**,无复杂操作命令,零基础能理解的实操逻辑和核心认知
本文整理了NVIDIA、AMD和Intel三大GPU厂商的核心开发文档索引。NVIDIA提供CUDA编程、图形渲染和AI加速等文档;AMD侧重ROCm平台和HIP编程模型;Intel则主推oneAPI工具包和DPC++编程。文档涵盖安装指南、API参考、性能优化等内容,并包含部分中文资源。开发者可根据需求选择对应文档,通过厂商官网和开发者社区获取技术支持和最新信息。
本文系统介绍了内存泄漏检测与内存屏障优化的关键技术。在内存泄漏检测方面,详细解析了Valgrind、AddressSanitizer等工具的使用方法,针对未释放内存、循环引用等常见问题给出了解决方案。在内存屏障优化部分,阐述了各类内存屏障的原理及多线程编程中的应用场景,包括生产者-消费者模型和无锁队列的实现。同时提供了Linux、Windows、Android等平台的优化实践,并通过数据库服务内存
在AI训练的"厨房"里,GPU是高效厨师助手,比CPU快10倍!2026年,英伟达B100成绝对主流,单卡算力飙升。训练300B参数的Qwen3仅需1024张B100,2周搞定(A100需100小时,B100仅30小时,提速3.3倍)。从A100的"普通轿车"升级到B100的"超跑",大模型训练从"慢工出细活"跃变为"快马加鞭"。算力正成为AI时代的"新石油",而GPU正是拧紧地基的那颗螺丝。
Youtu-LLM是一款19.6亿参数的高效大语言模型,具备128k长文本处理能力和原生智能体功能。其在常识推理、STEM、编程等任务上超越同规模模型,并能胜任合同分析、代码调试等专业场景。该模型已上线趋动云平台,支持一键部署,用户可通过GitHub获取资源或观看B站视频教程快速上手。使用后需注意及时关闭环境以避免额外费用。
GPU集群搭建指南 核心概念 GPU集群是将多台GPU服务器互联组成的计算系统,用于分布式训练大模型。典型架构包含: 1个管理节点(Master Node)负责任务调度 多个工作节点(Worker Node)执行计算任务 高速网络(InfiniBand/RoCE)实现节点间通信 共享存储系统存放数据和模型 硬件准备 建议配置: 每节点8张NVIDIA A100 80G显卡 AMD EPYC或Int
随着像NVIDIA GB200 NVL72这样的先进多节点GPU架构开始推动高性能AI基础设施的极限,Kubernetes需要能够理解和管理这些现代GPU系统拓扑的抽象。ComputeDomains通过将NVLink和IMEX域等底层结构与Kubernetes原生调度和DRA连接起来,应对了这一挑战。ComputeDomains随着工作负载在集群中移动,动态地形成、管理和拆除IMEX域,从而实现安
Agent Skills 是一种非常优秀的方式,用于标准化 LLM Agent 的功能能力。它们使用户能够以结构化的形式,为智能体添加和增强各类能力。具体的实现方式取决于你的 Agent 工作流,但目前已经有越来越多的 Agent 服务可以开箱即用地支持 Skills,其中包括 Claude Code、Codex 和 VS Code 等,这些都是已经采用该标准的 Agent 提供方。接下来,你可以
本文介绍了安装英伟达GPU驱动、CUDA、CUDNN和PyTorch的全流程。首先通过nvidia-smi命令查看驱动版本,下载对应CUDA 12.5.1并安装。接着解压CUDNN文件到CUDA目录,并配置系统环境变量。安装PyTorch时需指定GPU版本,最后通过torch.cuda.is_available()验证GPU是否可用。整个过程包含版本检查、组件安装、环境配置和最终测试等关键步骤。
GPU在推理场景中的表现,并非由单一参数决定,而是如同一个“木桶”,其效能取决于多项参数协同作用下的最短木板。通过建立参数与性能指标的关联模型,并结合典型业务场景分析,为不同推理需求下的GPU选型提供了明确的优先级指导与决策框架。:生成第一个Token前,GPU需将整个模型的参数从显存加载至芯片上的高速缓存。等分布式推理时,更多GPU核心和更高的互联带宽(如NVLink)能有效分摊计算负载,降低延
展望未来,H100的能力将可能加速日益复杂的模型和技术的开发,塑造人工智能和高性能计算的未来。这使得它处理海量数据的速度远超市场上任何其他GPU。“在某平台的NVIDIA H100 GPU上,使用数百万视频输入训练我们的下一代文本到视频模型仅用了3天,这使我们能够比以往更快地获得新版本的模型。“作为NVIDIA云服务提供商合作伙伴计划的精英成员,某平台启动对全新NVIDIA H100 GPU的支持
本文介绍了在星图AI算力平台上训练PETRV2-BEV模型的全流程。BEV(鸟瞰图)模型是自动驾驶领域的重要技术,能够将多视角传感器数据转换为统一的俯视图。文章详细讲解了云端训练的优势,包括按需使用GPU资源、预置环境等。操作步骤涵盖:创建算力实例、连接容器环境、准备训练数据、执行模型训练和验证等关键环节,特别介绍了数据预处理、精度测试指标解读以及VisualDL可视化工具的使用技巧。通过云端平台
当算力变成一种像石油一样的“战略储备”时,等待往往意味着更高的成本。在英伟达和 AMD 全线调价的倒计时里,提前布局稳定的云端资源,或许能让你在 2026 年的 AI 竞赛中省下一大笔不必要的开支。
本文对比了国内外主流免费算力平台,涵盖百度飞桨、阿里天池、Google Colab等。国内平台网络友好、中文生态完善,适合深度学习入门;国外平台资源丰富、多框架兼容。各平台提供免配置GPU环境,支持直接运行代码,并详细说明了资源限制、适用场景及快速上手指南。文末提供通用PyTorch示例代码和平台选择建议,帮助开发者高效利用免费资源进行AI开发与实验。
从AMD实验室的技术积累,到科创板的上市冲刺,燧原科技用八年时间,完成了一场精准的产业链突围。它的选择,印证了一个行业共识:当ChatGPT掀起全球AI军备竞赛,算力成为核心战略资源,真正的较量不在上市敲钟的瞬间,而在每次芯片迭代时,能否在关键技术环节“一撕到底”。从“跟随式追赶”转向“原生式创新”——避开国际巨头的优势领域,在AI等新兴赛道找准定位,用架构创新实现弯道超车;从“技术研发”升级为“
GPU池化技术是AI算力基础设施演进的必然方向。它将算力资源从固定、僵硬的“固定资产”,转变为流动、灵活的“战略资源”。与虚拟化的关系:虚拟化是池化的重要使能技术之一(提供了资源切分和隔离),但池化更关注跨节点的资源聚合与全局调度。未来趋势:池化正与云原生算力网络异构计算等趋势深度融合,目标是实现从数据中心到跨地域的全局算力资源一体化调度与供给,成为AI时代的“电力网格”。
「RFdiffusion3:蛋白质设计模型」现已上线 HyperAI超神经官网(hyper.ai)的「教程」板块,快来一键部署体验!
选择GPU虚拟化方案,本质上是根据场景在性能、隔离性、灵活性、成本追求极致性能与完整功能,且不介意独占 →GPU直通。需要在多用户间安全共享,且要求接近原生性能 →API转发(vGPU/MIG)。需要极致的灵活性、动态调度和云原生集成,可接受一定的性能损失 →全虚拟化或先进的容器化方案。对于大多数企业级AI云平台和虚拟桌面基础设施而言,以NVIDIA vGPU/MIG为代表的API转发模式是目前公
总结GPU是通用并行计算的王者,尤其在AI训练和复杂科学计算领域不可替代。其强大的生态(CUDA)和灵活性是核心优势。NPU是专用AI推理的效率怪兽,在边缘计算、移动设备和大规模AI服务部署中,凭借其超高的能效比和低延迟,成为必然选择。融合趋势异构计算:现代计算平台(如数据中心、自动驾驶域控制器)通常采用的异构组合。CPU负责通用逻辑控制,GPU负责复杂训练和并行任务,NPU负责高并发、低功耗的推
三星自研GPU的豪赌,本质上是一场“生态话语权”的争夺。在AI算力下沉端侧的大趋势下,三星凭借存储霸权、技术积累与全场景优势,有机会在端侧市场撕开一道口子,打破英伟达的生态垄断。2027年的AI芯片战场,不会是简单的“谁胜谁负”,更可能形成“英伟达主导数据中心、三星领跑端侧市场”的双雄格局。而这场博弈的最终赢家,将是能真正掌控“硬件+软件+场景”全链路的企业。你认为三星自研GPU能在2027年撼动
NVLink是NVIDIA开发的高性能GPU互联技术,旨在解决PCIe总线在多GPU系统中的带宽瓶颈和延迟问题。其核心优势包括:1) 极高带宽,可达PCIe的5-10倍;2) 支持GPU间直接通信,无需经过CPU;3) 实现统一内存访问和缓存一致性。NVLink通过NVLink Bridge(用于少量GPU)和NVSwitch(用于大规模集群)两种形式部署,成为AI训练(如大模型参数同步)和HPC
许多团队在做 AI 应用时都有类似体验:模型参数越来越大、能力越来越强,但真正落地时,却频频遭遇“跑不动、接不进业务、用户不用”的尴尬局面。背后原因往往不是“模型不够强”,而是缺少从硬件到应用的全栈视角,忽略了基础设施、数据、编排和产品形态之间的系统性关系。本文面向开发者、架构师和技术决策者,从一个真实的场景出发,系统拆解 AI 技术栈的五个关键层次,并给出选型思路、实践建议与成本权衡。如果只盯着
AI开发面临算力资源的结构性矛盾,包括成本效率失衡、独占浪费和供需错配。趋动科技OrionX社区版通过算力服务化实现资源优化,使中小团队可用8张卡完成24张卡的工作量,研究机构实验等待时间从36小时降至2小时,个人开发者获得类云端体验。该系统保持框架兼容性,提供三种部署方式,永久免费支持16节点规模,推动技术民主化。30分钟即可完成首个任务迁移,显著提升研发效率。
混合精度训练结合FP16和FP32的优势,显著提升深度学习训练效率。FP16计算速度快、显存占用少,但动态范围小、精度低;FP32则相反。混合训练通过FP32主拷贝存储权重,FP16执行计算,并采用梯度缩放防止下溢。Tensor Core硬件加速FP16运算,使训练速度提升1.5-3倍,显存占用减半。该技术已成为大规模AI模型训练的关键方法,在保持精度的同时大幅提高效率。
摘要:NVIDIA CUDA-Q QEC 0.5.0量子纠错新功能 NVIDIA CUDA-Q QEC 0.5.0版本推出多项量子纠错关键功能:1)支持在线实时解码,实现与量子处理单元(QPU)的低延迟并行运行;2)新增GPU加速的RelayBP算法解码器,通过"记忆强度"概念改进传统BP方法;3)集成TensorRT AI解码器推理引擎,支持ONNX模型;4)引入滑动窗口解码
在摩尔定律放缓的背景下,FPGA凭借硬件可重构性、高能效比与系统级灵活性,成为AI时代的关键基础设施。通过微软Catapult项目,FPGA在数据中心实现了Bing搜索排序加速,延迟降低2倍,功耗仅为GPU的1/5;Project Brainwave则以13.9 TOPS/W的能效比支撑实时AI推理。FPGA的三维价值三角模型(性能-灵活性-能效)使其在异构计算中独树一帜,既能动态适配AI模型迭代