基于 YOLO11 的学生课堂行为检测：从数据集构建到模型训练全流程

轩轩软件

48人浏览 · 2026-07-12 18:15:39

轩轩软件 · 2026-07-12 18:15:39 发布

基于 YOLO11 的学生课堂行为检测：从数据集构建到模型训练全流程

一、场景背景

在智慧教育领域，利用计算机视觉技术自动识别学生课堂行为，已成为教学质量分析和课堂管理的重要辅助手段。传统的课堂观察依赖人工记录，效率低且难以量化。通过目标检测模型，我们可以自动识别学生是否在举手、阅读、书写、低头、睡觉或使用手机等行为，为教学互动分析和课堂秩序管理提供数据支撑。

本文将围绕一个学生课堂行为检测数据集，详细介绍如何使用 YOLO11 进行目标检测模型的训练。数据集包含 12 类课堂行为标注，共 100 张代表性图片。虽然样本量不大，但足以演示从数据准备、标注解析到模型训练和验证的完整流程，对于初学者或希望快速验证方案的研究者具有参考价值。

二、数据集基本信息

2.1 数据集来源与结构

该数据集来自百度网盘目录“学生课堂行为检测数据集3.98”，项目名称为 xueshengketangxingwei398。原始数据经过 Label Studio 标注后，整理出 100 张代表性图片，并生成了对应的标注 JSON 文件和视频素材。

数据集目录结构如下：

学生课堂行为检测数据集3.98/
├── label_studio_import/
│   └── oss_selected_100/          # 已挑选的100张图片及标注
├── 视频素材/
│   └── 100张图片视频.mp4          # 图片轮播视频，用于预览
└── ...

2.2 标注类别说明

数据集共包含 12 个行为类别，覆盖了课堂中常见的学生状态：

类别名称	含义说明
Using_phone	正在使用手机（手持手机操作）
bend	弯腰或俯身
book	手持书本
bow_head	低头（可能在看桌面或手机）
hand-raising	举手发言
phone	手机出现在画面中（可能未使用）
raise_head	抬头
reading	阅读书本或材料
sleep	睡觉或伏案休息
turn_head	转头（看向其他方向）
upright	坐姿端正
writing	书写或记笔记

从类别设置可以看出，该数据集不仅关注显性的课堂互动行为（如举手），也涵盖了学生注意力状态（如低头、抬头、转头）和学习行为（如阅读、书写），适合用于综合性的课堂行为分析。

三、样本画面观察

3.1 原始课堂场景

以下图片展示了课堂中的典型场景，包括教师授课、学生举手互动、学生阅读和书写等。

样本图

图1：教师授课场景，学生积极举手参与课堂互动。

样本图

图2：学生专注阅读，展现课堂中的自主学习状态。

样本图

图3：学生认真书写，教师进行课堂巡视指导。

3.2 标注效果展示

以下图片展示了经过计算机视觉标注后的效果，可以看到模型对多种课堂行为进行了识别并绘制了边界框和置信度分数。

标注图

图4：计算机视觉标注识别学生举手行为，并给出置信度评分。

标注图

图5：多种课堂行为（如举手、阅读、低头）被计算机视觉系统识别并标注。

从标注效果可以看出，模型在识别举手、阅读、书写等行为时置信度较高，而对于低头、转头等动作幅度较小的行为，置信度相对较低，这是后续训练中需要重点优化的方向。

四、训练流程建议

4.1 数据准备与格式转换

YOLO11 的训练需要特定的数据集格式。如果原始标注来自 Label Studio，通常输出为 JSON 格式，需要转换为 YOLO 格式（每张图片对应一个同名的 .txt 文件，每行记录类别ID和归一化的边界框坐标）。

转换步骤建议如下：

解析 Label Studio JSON：提取每张图片的 image 字段和标注框信息。
生成类别映射文件：创建一个 classes.txt 文件，按顺序列出所有类别名称。
生成标注文件：将每个边界框的 x_center, y_center, width, height 归一化后写入 .txt 文件。
划分数据集：将图片和标注文件按比例（如 8:1:1）划分为训练集、验证集和测试集。

4.2 YOLO11 训练配置

YOLO11 是 Ultralytics 推出的最新目标检测模型，在速度和精度上都有显著提升。以下是训练配置示例：

# dataset.yaml
train: ./datasets/student_behavior/train/images
val: ./datasets/student_behavior/val/images
test: ./datasets/student_behavior/test/images

nc: 12
names: ['Using_phone', 'bend', 'book', 'bow_head', 'hand-raising', 'phone', 
        'raise_head', 'reading', 'sleep', 'turn_head', 'upright', 'writing']

训练命令示例：

yolo train model=yolo11n.pt data=dataset.yaml epochs=100 imgsz=640 batch=16 device=0

参数说明：

model=yolo11n.pt：使用 YOLO11 的 nano 版本作为预训练权重，适合小数据集快速迭代。
epochs=100：训练轮数，对于 100 张图片的数据集，建议至少训练 100 轮以保证收敛。
imgsz=640：输入图片尺寸，可根据实际场景调整（如 416 或 512）。
batch=16：批次大小，根据 GPU 显存调整。

4.3 训练过程中的常见坑

类别不平衡：该数据集中“upright”（坐姿端正）和“reading”（阅读）可能样本较多，而“sleep”（睡觉）或“Using_phone”（使用手机）样本较少。建议使用类别权重或数据增强来缓解。
小目标检测：课堂场景中，学生头部、手部等目标较小，YOLO11 的 nano 版本对小目标检测能力有限，可考虑使用 yolo11m.pt 或 yolo11l.pt 等更大模型。
光照变化：不同教室的光照条件差异大，建议在训练时使用 hsv_h, hsv_s, hsv_v 等数据增强参数。
遮挡问题：学生之间可能存在相互遮挡，导致标注框不完整。可尝试使用 mixup 或 mosaic 增强。