超参数参考 - 千问云

超参数控制模型在微调中的学习方式。在简易模式下，千问云使用优化后的默认值。在专家模式下，您可以在控制台或通过 API 自定义所有参数。

超参数表

参数	默认值	范围	说明
`batch_size`	16	8 -- 1024	每步处理的训练样本数。值越大稳定性越好，但需要更多内存。
`learning_rate`	0.0001	> 0	控制权重更新的幅度。过大导致不稳定，过小导致收敛过慢。
`n_epochs`	3	1 -- 200	完整遍历训练数据集的次数。epoch 越多，训练时间和成本越高。
`eval_steps`	50	1 -- 2147483647	两次验证评估之间的训练步数。值越低指标越频繁，但会拖慢训练。
`lr_scheduler_type`	Linear	Linear, Cosine, Inverse Sqrt	训练期间调整学习率的策略。
`max_length`	32768	500 -- 32768	单个训练样本的最大 Token 长度。超过此长度的样本将被丢弃。
`warmup_ratio`	0.1	0 -- 1	用于学习率预热的训练步数比例。预热有助于稳定早期训练。
`weight_decay`	0.01	0 -- 0.2	L2 正则化强度。有助于防止过拟合，维持泛化能力。
`lora_rank`	64	8, 16, 32, 64, 128	LoRA 适配器矩阵的秩。值越高容量越大，但计算成本也越高。
`lora_alpha`	16	8, 16, 32, 64	LoRA 更新的缩放因子。控制适配器相对于基模型的影响程度。
`lora_dropout`	0.05	0 -- 0.2	LoRA 层的 Dropout 率。有助于防止适配器权重过拟合。

lora_rank、lora_alpha 和 lora_dropout 三个参数是所有微调任务使用的 LoRA 训练方法专属参数。