训练数据相关

• GeneVA: A Dataset of Human Annotations for Generative Text to Video Artifacts (https://arxiv.org/abs/2509.08818): 针对文生视频中常见的时空伪影问题，提出了一个大规模的人工标注数据集GeneVA。该数据集旨在帮助研究人员系统性地评估和改进生成视频的质量，尤其是在物理合理性和时间一致性方面。
• Augmenting speech transcripts of VR recordings with gaze, pointing, and visual context for multimodal coreference resolution (https://arxiv.org/abs/2509.08689): 本文提出一种系统，通过结合眼动追踪、激光指示数据和场景元数据，增强VR语音记录的转录文本。实验结果表明，与仅使用语音的基线相比，使用增强型多模态转录文本可以显著提高GPT模型在共指消解任务中的准确率。
• AdsQA: Towards Advertisement Video Understanding (https://arxiv.org/abs/2509.08621): 提出了一个广告视频问答数据集 AdsQA，旨在评估LLM在理解超出客观物理内容的广告视频能力。该数据集包含从1544个广告视频中提取的10962个片段，并设计了五个具有挑战性的任务。

大模型的行业应用

• FinZero: Launching Multi-modal Financial Time Series Forecast with Large Reasoning Model (https://arxiv.org/abs/2509.08742): 本文提出了FinZero，一个多模态预训练模型，通过UARPO进行微调，以对FVLDB金融时间序列进行推理、预测和分析理解。大量实验验证了FinZero具有很强的适应性和可扩展性。
• Adapting Vision-Language Models for Neutrino Event Classification in High-Energy Physics (https://arxiv.org/abs/2509.08461): 探索了视觉语言模型(VLM)在识别高能物理(HEP)实验中像素化探测器数据中的中微子相互作用的应用。研究发现，VLM可以超越CNN，同时在整合辅助文本或语义信息方面提供更大的灵活性，并提供更可解释的、基于推理的预测。
• Retrieval-Augmented VLMs for Multimodal Melanoma Diagnosis (https://arxiv.org/abs/2509.08338): 提出了一种检索增强的VLM框架，该框架将语义相似的患者案例纳入诊断提示中。该方法无需微调即可进行知情预测，并显著提高了分类准确性和纠错能力。
• CLAPS: A CLIP-Unified Auto-Prompt Segmentation for Multi-Modal Retinal Imaging (https://arxiv.org/abs/2509.08618): 提出了一种CLIP统一的自动提示分割方法(CLAPS)，用于视网膜成像中跨不同任务和模式的统一分割。该方法通过在大规模多模态视网膜数据集上预训练基于CLIP的图像编码器，然后利用GroundingDINO自动生成空间边界框提示。

文生图/文生视频

• RewardDance: Reward Scaling in Visual Generation (https://arxiv.org/abs/2509.08826): 提出了一种可扩展的奖励建模框架RewardDance，通过将奖励分数重新定义为模型预测"yes" token的概率，解决了视觉生成中奖励模型(RM)缩放的挑战。该框架通过模型缩放和上下文缩放，在文本到图像、文本到视频和图像到视频生成方面显著超越了现有方法，并解决了“奖励入侵”问题。
• HuMo: Human-Centric Video Generation via Collaborative Multi-Modal Conditioning (https://arxiv.org/abs/2509.08519): 提出了一种用于协同多模态控制的统一HCVG框架HuMo。针对训练数据稀缺和多模态输入下主体保留与音视频同步子任务难以协同的挑战，HuMo构建了一个高质量的数据集，并提出了一个具有特定任务策略的两阶段渐进式多模态训练范式。

其他

• BcQLM: Efficient Vision-Language Understanding with Distilled Q-Gated Cross-Modal Fusion (https://arxiv.org/abs/2509.08715): 提出了一种轻量级的MLLM框架BcQLM，用于端到端的视觉问答。该模型以BreezeCLIP为中心，这是一个紧凑但功能强大的视觉语言编码器，经过优化以实现高效的多模态理解。
• MESH – Understanding Videos Like Human: Measuring Hallucinations in Large Video Models (https://arxiv.org/abs/2509.08538): 提出了MESH，一个旨在系统评估LVM中幻觉的基准。MESH采用问答框架，包含二元和多项选择格式，包括目标和陷阱实例，遵循自下而上的方法，评估基本对象、从粗到细的主题特征和主题-动作对，与人类视频理解保持一致。
• A Structured Review of Underwater Object Detection Challenges and Solutions: From Traditional to Large Vision Language Models (https://arxiv.org/abs/2509.08490): 本文系统地将水下目标检测(UOD)的挑战分为五个关键领域：图像质量下降、目标相关问题、数据相关挑战、计算和处理约束以及检测方法中的限制。分析了从传统图像处理和目标检测技术到现代方法的进展，并探讨了大型视觉语言模型(LVLM)在UOD中的潜力。
• Prompt-Driven Image Analysis with Multimodal Generative AI: Detection, Segmentation, Inpainting, and Interpretation (https://arxiv.org/abs/2509.08489): 提出了一种统一的pipeline，将开放词汇检测、可提示分割、文本条件下的修复和视觉语言描述结合到一个工作流程中。该系统通过单个提示端到端地工作，保留中间人工制品以进行透明调试。

编辑精选

• RewardDance: Reward Scaling in Visual Generation (https://arxiv.org/abs/2509.08826)：视觉生成领域中，奖励模型的扩展一直是个挑战。本文提出的RewardDance框架通过巧妙地将奖励与VLM的预测机制对齐，实现了奖励模型的有效扩展，并解决了奖励入侵的问题，具有重要的理论意义和实际应用价值。
• Augmenting speech transcripts of VR recordings with gaze, pointing, and visual context for multimodal coreference resolution (https://arxiv.org/abs/2509.08689): 这篇论文针对VR场景下语音转录文本的理解难题，创新性地融合了眼动追踪、手势和视觉环境信息，显著提升了共指消解的准确性。这种多模态融合方法对于增强VR交互的自然性和智能化具有重要参考价值。
• Adapting Vision-Language Models for Neutrino Event Classification in High-Energy Physics (https://arxiv.org/abs/2509.08461): 将VLM应用于高能物理领域，并取得了超越传统CNN的效果，展示了VLM在科学研究领域的巨大潜力。