通过千问AI平台的 SFT、DPO、CPT 微调 Qwen 模型,支持 LoRA 和全参训练模式。
模型微调使用您的数据在基础模型上训练,让模型学会特定领域的知识、任务执行方式或输出风格。微调后的模型需要部署后才能调用。
模型微调适合实现以下目标:
模型调优通常包括准备数据、选择训练方式与模型、配置超参数、启动训练、观察训练指标、发布检查点、部署和评测等步骤。
创建微调任务前,您需要:
三种方式递进互补,推荐流程:
如果模型已经具备所需知识但不会按预期回答,优先选择 SFT,而不是 CPT。应用试运行后,可以把用户反馈和效果不佳的案例整理为偏好对,再使用 DPO 优化。三种方式并非每次都要全部执行,大多数任务从 SFT 开始即可。
大多数 SFT/DPO 场景使用 LoRA 即可。
各训练方式和训练模式下可选的具体模型请在创建微调任务时查看。
您也可以选择之前微调过的自定义模型作为基础模型进行迭代训练。创建微调任务时,在基础模型选择器中切换到自定义模型标签页,即可选择您自己的模型。
数据格式根据训练方式和任务类型不同。各算法及任务类型的格式示例和详细要求请参见数据集概览。
核心字段速览:
如果微调后模型表现不佳,最直接的改进方法是收集更多高质量数据。如果短期难以收集足够数据,建议先用 RAG 应用积累数据,再考虑微调。各场景的数据比例应符合实际使用比例,避免某类数据过多导致模型偏向该类特征。质量优先于数量——少量精准的训练数据优于大量低质量数据。
验证集用于观察模型对未参与训练数据的泛化效果,不应与训练集包含重复或高度相似的样本。创建任务时可以从训练集自动拆分验证数据,也可以选择独立的已发布数据集。数据量充足时,建议准备独立验证集,并确保其场景分布与实际业务一致。
按训练消耗的 Token 数计费:
训练过程中,工作台显示训练指标,帮助判断训练效果。训练完成后系统生成若干检查点(Checkpoint),并自动将最后一个检查点发布为自定义模型,可用于部署或作为基础模型迭代训练。如需使用其他中间检查点,并且任务详情页提供发布操作,可以在输出标签页手动发布。检查点保存在云存储中,暂不支持下载。
- 提升特定领域或业务表现:让模型学习领域知识、业务流程、表达习惯和输出格式。
- 减少幻觉:结合高质量领域数据和偏好数据,降低模型生成错误或不符合预期内容的概率。
- 降低响应延迟和输入成本:将原本需要写入提示词的示例和规则固化到模型中,减少 Few-shot 示例占用的输入 Token。
- 降低模型使用成本:在效果满足要求时,可以使用微调后的小规模模型替代更大规模的基础模型。
建议先尝试提示词工程或工具调用来优化应用。微调需要准备训练数据、消耗训练费用且迭代速度较慢,通常作为提升模型表现的最后手段。
调优流程
模型调优通常包括准备数据、选择训练方式与模型、配置超参数、启动训练、观察训练指标、发布检查点、部署和评测等步骤。
前提条件
创建微调任务前,您需要:
训练方式
| 训练方式 | 核心目标 | 典型场景 |
|---|---|---|
| CPT(持续预训练) | 补知识——注入领域知识 | 金融术语、医疗病理、法律判例 |
| SFT(监督微调) | 学做事——学会执行任务 | 客服流程、编程范式、工具调用 |
| DPO(直接偏好优化) | 做得更好——对齐人类偏好 | 拒绝有害建议、回答更简洁、评价更客观 |
CPT(可选)→ SFT → DPO(可选)
- CPT 用无标签的领域语料做自监督学习(预测下一个词),让模型掌握专业词汇和事实。通常在 SFT 之前进行。
- SFT 用标注好的输入/输出对做监督学习,教模型对话格式和任务执行能力。大多数场景仅需 SFT。
- DPO 用正负样本对比学习,增大好答案概率、降低坏答案概率。在 SFT 之后作为对齐的最后一步。
如何选择训练方式
| 如果您希望模型 | 建议方式 | 原因 |
|---|---|---|
| 掌握基础模型缺少的行业知识、专业术语或事实 | CPT | 使用大规模无标签文本继续预训练,适合补充领域知识 |
| 按指定格式回答、遵循业务流程或学会特定任务 | SFT | 使用高质量的输入/输出示例,让模型模仿期望行为 |
| 针对已发现的坏案例改进回答风格、安全性或偏好 | DPO | 使用同一输入下的优选与拒绝回答,让模型学习输出偏好 |
训练模式
| 训练模式 | 说明 | 适用场景 | 支持的训练方式 |
|---|---|---|---|
| LoRA(高效训练) | 冻结基础模型,仅训练低秩适配器权重。速度快、成本低 | 优化特定场景效果,对训练时间和成本敏感 | SFT、DPO |
| 全参训练 | 更新模型全部参数。训练时间更长、成本更高。CPT 仅支持此模式 | 需要模型学习全新能力,追求全局效果最优 | SFT、DPO、CPT |
支持的模型
| 模型类别 | 模型系列 | 支持的训练方式 |
|---|---|---|
| 文本生成 | Qwen 系列 | SFT / DPO / CPT |
| 视觉理解 | Qwen3-VL、Qwen2.5-VL 系列 | SFT |
| 图生视频 | Wan-I2V(万相)系列 | SFT |
数据格式
数据格式根据训练方式和任务类型不同。各算法及任务类型的格式示例和详细要求请参见数据集概览。
核心字段速览:
| 训练方式 / 任务类型 | 核心字段 |
|---|---|
| SFT(文本) | messages(含 system/user/assistant 多轮对话) |
| DPO(文本) | messages(上下文)+ chosen + rejected(偏好对) |
| CPT(文本) | text(纯文本) |
| 视觉理解 | messages,content 为数组,含 image / video(视频支持路径模式和图片帧列表模式,仅 qwen3.5 及以后的 VL 模型支持) |
| 图生视频 | data.jsonl + 图片 + 视频,首帧与首尾帧目录结构不同 |
数据要求
| 训练方式 | 推荐数据量 | 输入格式 |
|---|---|---|
| CPT | 一千万 Token | 无标签的领域文本 |
| SFT | 1,000 条 | 高质量的输入-输出对 |
| DPO | 100 组 | 同一输入下的正负偏好对 |
构建高质量数据集
- 覆盖真实场景:按生产环境中的实际业务比例组织样本。例如客服数据应覆盖售前咨询、售中引导、售后服务和投诉处理等场景。
- 保持多样性:覆盖不同表达方式、输入长度、难度和边界情况,避免模型只记住固定问法。
- 保持答案一致:相似问题应采用一致的事实、语气和输出格式;清理错误、重复和相互矛盾的样本。
- 补充失败案例:收集应用试运行中的低质量回答。可将正确答案补充为 SFT 样本,或整理为 DPO 的优选与拒绝回答对。
划分训练集和验证集
验证集用于观察模型对未参与训练数据的泛化效果,不应与训练集包含重复或高度相似的样本。创建任务时可以从训练集自动拆分验证数据,也可以选择独立的已发布数据集。数据量充足时,建议准备独立验证集,并确保其场景分布与实际业务一致。
计费
按训练消耗的 Token 数计费:
训练费用 = 训练数据 Token 总数 × 循环次数 × 训练单价
各模型类别的训练单价、计费公式与计费示例详见微调训练计费。
创建任务时,工作台底部显示预估训练费用,点击计算详情可查看训练 Token 总数、循环次数和训练单价明细。微调后的模型需部署后才能调用,部署和调用产生额外费用。