学习率调度器（Learning Rate Scheduler）是一种在训练过程中动态调整学习率的工具。学习率是优化器中的一个超参数，它决定了模型参数在每次更新时的调整步幅。合适的学习率可以加速模型收敛，而不合适的学习率可能导致训练过程不稳定或收敛速度慢。

常见的学习率调度器

1. StepLR：每隔一定的步数将学习率乘以一个衰减因子。
2. ExponentialLR：每个epoch将学习率乘以一个固定的衰减因子。
3. CosineAnnealingLR：学习率按照余弦函数曲线变化，适用于周期性训练。
4. OneCycleLR：在一个周期内先增加后减少学习率，适用于快速收敛。

代码示例

optimizer = torch.optim.AdamW(model.parameters(), lr=0.01)
scheduler = torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max=10)

for epoch in range(100):
    train(...)
    validate(...)
    scheduler.step()