大模型面试题88:cuda core的数量 与 开发算子中实际使用的线程 关系是什么?过量线程会发生什么情况?
核心关系:CUDA Core是硬件运算单元,线程是软件任务,线程数需适配SM资源(让占用率接近100%),而非和Core数相等;过量线程的后果:先导致资源不足、占用率下降(性能降),再增加调度开销(性能更差),极端情况程序崩溃;新手原则:线程块大小选32的倍数,总线程数设为SM最大线程数的总和,逐步测试找到最优值。对新手来说,不用追求“线程数越多越好”,先保证“线程数能让SM占满”,再微调优化,就
所有评论(0)