Warning

model在多卡DataParallel调用时在loss的地方会出现：
UserWarning: Was asked to gather along dimension 0, but all input tensors were scalars;will instead unsqueeze and return a vector.
每次看到都很烦，虽然不影响运行

我的问题

在model里计算loss时写了loss.mean（），trainer里也写了loss.mean（）

解决

删去model 里的 loss.mean（）,或者其他对多卡loss汇聚的操作，只留下trainer中loss.mean（）

# 人工智能 # 深度学习 # python # pytorch
Logo
2048 AI社区

有“AI”的1024 = 2048，欢迎大家加入2048 AI社区

更多推荐

cover

知识图谱+大模型协同应用教程：从零基础入门到精通，推荐实战指南，一篇搞定！

avatar 2048 AI社区

大模型应用关键技术：实时性保障与多轮对话一致性实践

摘要： 本文探讨大模型应用中的实时性和多轮对话一致性技术。实时性保障通过模型轻量化、推理引擎优化和上下文缓存实现，以ONNX Runtime量化为例，将7B参数的Llama 2模型推理延迟从2.8秒降至1.1秒。多轮对话一致性通过上下文压缩、对话状态跟踪(DST)和结构化Prompt设计维护，案例演示了基于Redis的智能点餐系统如何跟踪用户状态。两项技术分别提升用户体验和交互逻辑的连贯性，适用于

avatar 2048 AI社区

深入解析检索增强生成（RAG）技术

摘要： 本文介绍了检索增强生成（RAG）技术及其核心模块。RAG通过结合信息检索与生成模型，提升文本生成的准确性和时效性。其核心模块包括：1）知识库构建（数据采集、预处理、向量存储）；2）检索系统（语义检索、重排序优化）；3）LLM交互层（Prompt设计、后置校验）。文中通过电商客服、医疗咨询、金融报告等案例，结合代码示例（如Sentence-BERT嵌入、FAISS检索、GPT-2生成），展示

avatar 2048 AI社区