一、LAION-400M: Open Dataset of CLIP-Filtered 400 Million Image-Text Pairs

论文概要

多模态语言-视觉模型得到迅猛发展，即使在目标图像数据上没有每个样本标签的情况下，也能显示出显著的学习和迁移能力。尽管有这种趋势，但迄今为止还没有足够规模的公开数据集可用于从头开始训练此类模型。为了解决这个问题，本文构建并发布了LAION - 400M，一个经过CLIP过滤的4亿图像-文本对及其CLIP嵌入和kNN索引的数据集。本文描述了创建数据集的过程，并展示了DALL - E架构的训练。
数据的收集：

• 分布式处理PB级的Common Crawl数据集，产生匹配的URL和标签的集合。
• 对数据进行单节点后处理，产生轻量化数据，可以在几天内运行并产生最终的数据集。
• Common Crawl的分布式处理：为了创建图像-文本对，需要通过Common Crawl中的WAT文件进行解析，解析出所有包含alt - text属性的HTML IMG标签。再使用Trio和Asks库从异步请求的解析URL中下载原始图像。

Img2Dataset：
开发了img2Dataset，可以从给定的URLs集合中进行下载，并将图片和标签以webdataset格式进行缩放和存储。这允许使用单个节点( 1Gbps的连接速度, 32GB的RAM , 16核的i7 CPU)在20小时内从URLs列表中下载100万张图片，以获得整个数据集或更小的子集。

数据集简介

4亿对图像URL和相应的元数据
4亿对CLIP图像嵌入和相应的文本
在数据集中实现快速搜索的几组kNN索引
img2dataset库，可以从URL列表中高效地爬取和处理数以亿计的图像及其元数据
LAION - 400M图像-文本搜索的Web演示

Schuhmann, Christoph et al. “LAION-400M: Open Dataset of CLIP-Filtered 400 Million Image-Text Pairs.” ArXiv abs/2111.02114 (2021): n. pag.

二、CNVid-3.5M: Build, Filter, and Pre-Train the Large-Scale Public Chinese Video-Text Dataset

论文概要

近年来图文视频预训练模型的研究取得了巨大的进展。然而，现有的大规模视频-文本数据集大多是纯英文的。本文发布CNVid - 3.5 M，一个包含超过3.5 M中文视频-文本对的大规模公开跨模态数据集。
贡献主要有以下几点：
1 )构建了一个公开的中文视频文本数据，从中文网站上收集了超过4.5 M的视频。
2 )为了提高数据质量，提出了一种新的方法来过滤1M弱配对视频。
3 )使用3种主流的像素级预训练架构对CNVid3.5 M进行基准测试。
4）提出了"硬样本循环学习策略"策略，以促进预训练的表现。
https://github.com/CNVid/CNVid- 3.5 M获得。

数据集简介

以CNVid - 3.5 M数据集中的视频-文本对为例。样本中呈现了三种类型的文本信息：1 )主题(人工编写)，2 )标题(用户上传)，3 ) ASR文本。

T. Gan, Q. Wang, X. Dong, X. Ren, L. Nie and Q. Guo, “CNVid-3.5M: Build, Filter, and Pre-Train the Large-Scale Public Chinese Video-Text Dataset,” 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Vancouver, BC, Canada, 2023, pp. 14815-14824, doi: 10.1109/CVPR52729.2023.01423.

三、CelebV-Text: A Large-Scale Facial Text-Video Dataset

论文概要

文本驱动的生成模型在视频生成和编辑方面蓬勃发展。然而，由于缺乏包含高质量视频和高度相关文本的数据集，以面孔为中心的文像转换生成仍然是一个挑战。本文提出了一个大规模、多样化、高质量的人脸文本-视频对数据集CelebV - Text，以促进人脸文本转换生成任务的研究。CelebV - Text由70，000个人脸视频片段组成，每个视频片段与20个文本配对，使用提出的半自动文本生成策略生成。所提供的文本准确地描述了静态和动态属性。通过统计分析，证明了CelebV - Text相对于其他数据集的优越性

设计了包括数据收集与处理、数据标注和半自动文本生成在内的综合数据构建流程。
首先，获得原始视频。同时对视频处理步骤进行微小的修改，以进一步提高视频的平滑度。
接下来，为了确保高度相关的文本-视频对，从动态时间和静态内容两方面对视频进行分析，并建立一组可能随时间变化或不随时间变化的属性。
提出了一种基于半自动模板的方法，来生成多样性和自然的文本。

数据集简介

CelebV - Text包含( a ) 70，000个视频样本和( b ) 1，400，000个文本描述。对每个视频样本进行大概外观、详细外观、光照条件、动作、情感、光照方向的标注。每个视频标注3类静态属性(一般外观40个,详细外观5个,光照条件6个)和3类动态属性( 37个动作, 8个情绪, 6个光照方向)。所有动态属性都用开始和结束时间戳进行密集标注，而无法离散化的标签则提供人工文本。

J. Yu, H. Zhu, L. Jiang, C. C. Loy, W. Cai and W. Wu, “CelebV-Text: A Large-Scale Facial Text-Video Dataset,” 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Vancouver, BC, Canada, 2023, pp. 14805-14814, doi: 10.1109/CVPR52729.2023.01422.

四、MISC210K: A Large-Scale Dataset for Multi-Instance Semantic Correspondence

论文概要

语义对应为物体识别开辟了一条新的途径。目前的单目标匹配模式很难发现类别之间的共性，并且与真实世界的识别任务相差甚远。为了填补这一空白，本文设计了多实例语义对应任务，旨在构建图像对中多个对象之间的对应关系。因此，本文从COCO Detection 2017数据集中构建了一个名为MISC210K的多实例语义对应数据集。
数据集的构建分为三个步骤：
( 1 )类别选择和数据清洗；
( 2 )基于三维模型和对象描述规则的关键点设计；
( 3 )人机协同标注。
总共选择了34类对象，通过半自动工作流程标注了4812张图像，最终获得了218179张带有实例掩码和实例级关键点对的图像。本文还设计了双流协同学习，共同训练实例级分割任务和细粒度对应任务。
流程图

Y. Sun et al., “MISC210K: A Large-Scale Dataset for Multi-Instance Semantic Correspondence,” 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Vancouver, BC, Canada, 2023, pp. 7121-7130, doi: 10.1109/CVPR52729.2023.00688.

五、 HandsOff: Labeled Dataset Generation With No Additional Human Annotations

论文概要

在生成数据方面，很多工作采取生成对抗网络( GANs )来生成有标签的合成数据集。这些数据集生成方法往往需要对合成图像进行新的标注，这仍然需要人工标注，来获得一组合成图像，并保证生成标签的质量。在本文中，提出了HandsOff框架，该技术能够在少于50张已经标记的图像上训练，然后产生无限数量的合成图像和相应的标签。这个框架通过将GAN反演与数据集生成统一起来
重点
Hands Off能够缓解语义分割任务中长尾效应的影响。通过修改训练数据的分布，HandsOff能够产生用于训练下游任务的数据集，显著提高检测长尾部件的性能。

A. Xu, M. I. Vasileva, A. Dave and A. Seshadri, “HandsOff: Labeled Dataset Generation With No Additional Human Annotations,” 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Vancouver, BC, Canada, 2023, pp. 7991-8000, doi: 10.1109/CVPR52729.2023.00772.

六、WeatherBench: A Benchmark Data Set for Data-Driven Weather Forecasting

论文概要

目前的数值天气预报( NWP )模式在许多重要的应用中仍然存在不足，需要大量的计算力，特别是用于建立概率预报，通常仅限于50个或更少的集合成员。但是，用数据驱动的方法预测全球的天气模式，缺乏共同的数据集和评估指标，使得研究之间的相互比较变得困难。本文创建了一个中期天气预报基准数据集(具体为3 - 5天)。数据源自ERA5，并且经过预处理的数据。数据具有简单而明确的评价指标，使不同方法之间能够直接比较。
此外还提供了线性回归技术、深度学习模型以及纯物理预测模型的基线分数。

机器学习应用于天气预报主要有以下几种方式。

• 后处理- -物理模型输出中统计偏差的修正
• 统计预报–物理模型不直接输出的变量的预测。
• 混合建模–物理模型与数据驱动组件相结合。
  最经常使用的是混合建模，他的核心思想是仅将不确定的或计算量大的模型组件替换为机器学习模型，而其他模型组件则保持不变。这样的混合模型的弊端是：首先，物理和机器学习组件之间的相互作用知之甚少，并可能导致意想不到的不稳定和偏差。其次，从技术角度来看，它们很难实现。
  
  数据驱动的天气预报方法。( a ) 提前5天预报的直接天气预报模型。神经网络的输入为纬度-经度网格。字段可以是同一变量的多个层次和/或不同变量。目标是提前一段时间预测相同的区域。( b )从较短的提前期(例如6小时)训练的数据驱动模型中创建迭代预测，然后迭代调用到所需的预测提前期。

本文致力于纯数据驱动的中等范围内全球大气流动的预测。具体来说，选取了3天和5天的提前量，此时大气是确定的，但也表现出复杂的非线性行为。创建一个好的中期预报需要了解复杂的大气动力学以及在一系列尺度上几个变量之间的相互作用。本文选取了如下的变量：