---|-------|------|----------|------|----------|---------| ...¶

Code 预训练数据优化：最新进展与关键文献¶

调研时间：2026-04，聚焦 pretrain 阶段的 code 数据优化，涵盖数据管线、混合比例、repo 级长文组织、去重与质量过滤、Scaling Laws 等。

---

一、业界 Code 模型全景（技术报告速览）¶

做 code 预训练，先了解头部模型的训练方案是最高效的入门方式：

各模型数据混合策略对比¶

StarCoder 2:     ████████████████████████████████████████ 100% code
DeepSeek-Coder-V2: ████████████████████████████████████████████████ 87% code + 13% math
CodeGeeX4 (GLM): ████████████████████████████████████████████ 63% code + 21% math + 16% text
Qwen2.5-Coder:    ████████████████████████████████████████████ 50→75% code（渐进）+ math + text
Llama 4 Maverick: ████████████████████████████████████████████████████████████ ~45% code + 55% 其他
Kimi K2:          通用模型，code+math+synthetic 占显著份额（具体未公开）

关键观察¶

1. 两种流派：
   - 纯 code 派（StarCoder2, DeepSeek-Coder-V2）：从零训练，纯 code（+math），code 能力上限高但通用性弱
   - 混合派（Qwen, CodeGeeX4, Llama 4, Kimi K2）：code + math + general text 混合，通用性和 code 能力兼顾

2. 课程学习是共识：几乎所有模型都在训练过程中调整 data mix，而非固定比例
   - Qwen2.5-Coder 三阶段：50% → 65% → 75% code
   - Llama 4：训练后期提高 code 比例
   - 这是 2024-2025 的标准做法

3. OpenCoder 是最佳入门参考：完全开源的训练 pipeline、数据、中间 checkpoint，8B 模型打平 70B 级模型

---

二、核心数据集（原材料）¶

---

三、代码预训练数据管线关键环节¶

3.1 去重 (Deduplication)¶

业界共识从「能去就去」转向结构感知的精准去重：

关键发现（2025 共识）： 过度去重会移除有价值的长尾代码模式，降低模型在 edge case 上的表现。推荐轻度去重 + 结构保留策略。

3.2 质量过滤 (Quality Filtering)¶

2025 核心反转： 多篇论文发现「最小过滤（只删明显损坏文件）」在某些场景下比「重度过滤」效果更好，取决于总数据量。宁可多留，不要过度清洗。

3.3 数据混合比例 (Data Mixing)¶

Qwen2.5-Coder 的三阶段课程学习（详细参考）¶

• 580+ 编程语言，Python ~25%, JavaScript ~15%, Java ~12%, C/C++ ~10%
• 继续 pretrain 自 Qwen2.5 base（非从零训练）

Llama 4 的分阶段课程学习¶

参考来源：
- Llama 4 技术报告: arXiv 2601.11659（注：已被 Meta 撤回）
- Sebastian Raschka 博客 — LLM 训练细节分析的最佳独立来源

3.4 污染审计 (Decontamination)¶

这是任何 code 预训练的必修课，必须在去重/过滤之后单独做。

• 超过 60% 的主流 code benchmark（HumanEval, MBPP 等）在主要 code 语料库中存在显著污染
• 必须在去重/过滤之后单独做 benchmark leakage 检测
• 参考论文：Contamination in Code LLM Benchmarks: A Systematic Audit (2025)

---

四、Repo 级别与长文预训练（Midtrain）¶

4.1 Repo 级别上下文¶

4.2 长上下文扩展（Midtrain 阶段）¶

当前主流做法是在 midtrain 阶段做 progressive context extension：

最佳实践：
1. Midtrain 阶段（而非 post-training）是做 context extension 的首选
2. Progressive/incremental scaling 比一次性扩展更稳定
3. 用 repo 级别的真实代码（跨文件依赖）作为长文训练数据，而非 padding
4. 参考 CodeLongBench 做长文能力评测

---

五、Scaling Laws 与训练阶段交互（重要新方向）¶

5.1 Code 专用 Scaling Laws¶

Code 模型的 scaling law 与 NLP 模型有显著差异：

5.2 编程语言多样性的 Scaling Law¶

必读： Scaling Laws for Code: Every Programming Language Matters (2506.16327, 中国人民大学, 2025.06)

核心发现：
- 多语言预训练始终优于单语言预训练
- 新增语言的收益呈对数递减
- 语言相似性是关键因素 — 添加相似语言（如 Java+Kotlin）的收益高于添加不相关语言
- 对制定 code data mixing 策略有直接指导意义

5.3 Pre-training、Mid-training、RL 的交互¶

必读： On the Interplay of Pre-Training, Mid-Training, and RL on Reasoning Language Models (2507.14320, 浙大 & 阿里巴巴, 2025.07)

核心发现：
- 三个训练阶段（pre-training → mid-training/SFT → RL）的数据质量与组成显著影响最终推理能力
- Mid-training 阶段的 reasoning data 质量比数量更重要
- RL 可以弥补 pre-training 的不足，但无法完全替代高质量的 pre-training 数据
- 对设计 code+reasoning 模型的训练 pipeline 有直接参考价值

5.4 通过持续预训练 Scaling Agent¶

必读： Scaling Agents via Continual Pre-training (2506.03318, 清华 & 微软, 2025.06)

核心发现：
- 提出 AgentCPT 框架，在 base LM 上持续预训练大规模 agent 轨迹数据
- 在 WebArena、SWE-bench Verified、TAU-bench 上达到开源 SOTA
- 数据量和计算量的 scaling 都可预测
- 对 code agent 能力的训练有直接参考价值

---

六、Code 新范式探索¶

6.1 Code World Models（代码世界模型）¶

必读： CWM: An Open-Weights LLM for Research on Code Generation with World Models (2506.04566, Google DeepMind, 2025.06)

核心思路：
- 训练 LLM 模拟代码执行，生成 Python 程序的逐 token 执行轨迹
- 在 CRUXEval、MBPP-Exec、HumanEval-Exec 上达到 SOTA
- 超越远大于自己的模型
- 代表了 code 模型的新方向：从「生成代码」到「理解代码执行过程」

6.2 Project 级代码补全的预训练¶

必读： On Pretraining for Project-Level Code Completion (2504.02220, 南京大学, 2025.04)

核心思路：
- 提出 RepoCoder-2.0，聚焦 project 级跨文件代码补全的预训练方法论
- 研究如何在预训练阶段有效组织跨文件上下文
- 对 repo 级 code 模型的数据组织有直接指导意义

---

七、必读论文清单¶

Tier 1：必读（做 code 预训练前必须了解）¶

Tier 2：重要（最新进展 & 训练策略）¶

Tier 3：前沿探索（新方向）¶

Tier 4：背景 Survey¶

---

八、实操建议¶

数据管线¶

1. 先读 OpenCoder + Qwen2.5-Coder — OpenCoder 给完全可复现的 pipeline，Qwen 给三阶段课程学习细节
2. Decontamination 是第一步不是最后一步 — 先排除 benchmark leakage 再谈优化
3. 从「轻度过滤」开始，不要一上来就重度清洗 — 2025 年的共识是宁可多留
4. 分阶段课程学习：训练后期提高 code 比例，这是业界标准做法

Repo 级 & 长文¶

5. Repo 级别的数据组织是 code 模型的核心竞争力，参考 On Pretraining for Project-Level Code Completion
6. Midtrain 阶段做 progressive context extension，用真实 repo 代码而非 padding

Scaling & 新方向¶

7. 关注 code 专用 scaling law（Every Programming Language Matters），不要直接套用 Chinchilla
8. 读 Interplay of Pre-Training, Mid-Training, and RL 理解训练阶段间的交互
9. 关注 CWM 世界模型方向 — 从生成代码到理解执行

路线图建议¶

入门（1-2 天）: StarCoder2 → OpenCoder（建立 pipeline 直觉）
核心（3-5 天）: Qwen2.5-Coder → DeepSeek-Coder-V2 → CodeGeeX4（掌握课程学习 + 混合策略）
进阶（1 周）  : Every Programming Language Matters → Interplay 论文 → AgentCPT（理解 scaling + 阶段交互）
前沿          : CWM → Project-Level Pretraining（探索新方向）

---

参考资料¶

技术报告¶

• StarCoder2 | DeepSeek-Coder-V2 | OpenCoder
• Qwen2.5-Coder | CodeGeeX4 | Llama 4
• Kimi K2 | MiniMax-01

关键研究论文¶

• Scaling Laws for Code: Every Programming Language Matters
• On the Interplay of Pre-Training, Mid-Training, and RL
• Scaling Agents via Continual Pre-training
• CWM: Code World Models
• On Pretraining for Project-Level Code Completion

数据集¶

• The Stack v2 & StarCoder2 | Dolma
• FineWeb-Edu | BigCode Project

分析博客¶

• Sebastian Raschka 博客 — LLM 训练细节分析的最佳独立来源