最近在训练网络的时候，报错ValueError: num_samples should be a positive integer value, but got num_samples=0。

经过调试发现，这是在dataloader环节出现了问题。在数据读取时一个判断写的越界了，如下所示

  train_sampler = torch.utils.data.DataLoader(
        train_dataset, batch_size=args.batch_size, shuffle=False,
        **dataloader_kwargs
    )

shuffle的参数设置错误导致，因为已经有batch_sample了，就不需要shuffle来进行随机的sample了，所以在这里的shuffle应该设置为FALSE才对。

Logo
2048 AI社区

有“AI”的1024 = 2048，欢迎大家加入2048 AI社区

更多推荐

cover

国外的文献怎么找：实用检索方法与资源平台推荐

avatar 2048 AI社区

Numpy基础知识

NumPy的核心价值在于矩阵运算优化：并行计算优势：矩阵操作可实现批量数据处理，显著提升AI训练效率数学基础：支持矩阵求逆、求导等高等数学运算，满足机器学习算法需求性能对比：相比Python原生列表，NumPy数组计算速度提升10-100倍Numpy的版本选择与安装推荐安装numpy==1.26.1，通过pip list命令可查看已安装库的版本,Python第三方库镜像地址与配置,使用镜像地址加速

avatar 2048 AI社区

面向通用矩阵乘法（GEMM）负载的GPU建模方法：原理、实现与多场景应用价值

本文所论述的面向GEMM负载的GPU建模方法，通过创新的多级协同建模机制，在缓存、指令、计算强度与硬件利用率等多个维度实现深度融合，为GPU密集型应用提供了精准、可解释、可迁移的性能预测工具。其在AI训练、推理优化、稀疏计算及集群调度中的成功应用，凸显了该方法不仅具有学术前瞻性，更具备扎实的工程落地价值和广泛的商业应用前景。在算力日益成为核心竞争力的今天，此类性能建模技术将成为释放硬件潜能、优化系

avatar 2048 AI社区