随着公开互联网高质量文本数据的消耗殆尽，合成数据（Synthetic Data）已成为训练与对齐前沿大模型的绝对主力。然而，简单的让大模型“自由生成”往往会引入模型自退化（Model Collapse）与逻辑幻觉。本文基于雷达实验室的微调实操，深入讲解如何构建具备自我反思校验的合成数据闭环，并通过 DPO/ORPO 算法完成高效偏好对齐。
01 拒绝采样（Rejection Sampling）与三维质检滤波
高质量合成数据的核心不在于“生成多快”，而在于“过滤多狠”。标准的生产级滤波漏斗应包含三道铁门：
- 规则硬过滤：正则拦截模式重复、字数异常过短或过长、包含不可打印字符的劣质样本；
- 单元测试验证（Code Grounding）：对于代码与数学推理数据，必须在沙箱容器中执行对应测试用例，仅保留运行结果完全符合预期（Exit code 0）的样本；
- 交叉判定（LLM-as-a-Judge）：引入异构独立评判模型（如 Claude 3.5 Sonnet 与 GPT-4o 交叉评分），仅保留两相一致且一致性得分高于 8.5/10 的数据作为正样本（Chosen）。