预训练数据
项目负责生成训练数据文件,下游训练程序负责训练目标模型。另提供显式启动的 DoReMi/RegMix 小型代理训练,用于学习配比。
每日飞轮的 v7 数据
原文、图表描述以及可选翻译/改写经过独立审核后,按目标 tokenizer 分段。 同源数据共用训练/验证划分,跨日去重仍保留全部来源。
传统财报的 v5/v6 数据
已有发布包可以使用 training.cli 生成正文语料,具体命令见已有发布包生成语料。 这一入口不调用翻译或改写模型,也不执行飞轮的目标 tokenizer 配方。
SFT 指令微调数据
批准的 v7 原文与表格还可以生成文档问答、结构化抽取和表格计算数据。 输出完整 messages、精确证据、审核与血缘,不使用 CPT 的文本切片方式。 见 SFT 数据生成,包含独立 CLI、每日启用、缓存续作及划分限制。
图表多模态 SFT
可选配方 config/sft-vision.json 支持看图问答和表格图片转 JSON,导出包含原图、类型化消息及视觉证据区域。 图片随数据集打包,文本/视觉训练文件分别输出,见图表多模态 SFT。
方法与配比
- 训练数据生成方法:CPT 知识变换、多步骤 SFT 与图像多轮任务。
- 数据配比与选择:固定/温度配比、家族上限、质量与多样性选择、实际比例报告。
- DoReMi / RegMix 实验:准备域数据、真实代理训练、断点继续和学习权重导出。