预训练数据

项目负责生成训练数据文件,下游训练程序负责训练目标模型。另提供显式启动的 DoReMi/RegMix 小型代理训练,用于学习配比。

每日飞轮的 v7 数据

原文、图表描述以及可选翻译/改写经过独立审核后,按目标 tokenizer 分段。 同源数据共用训练/验证划分,跨日去重仍保留全部来源。

见模型配置、来源准入和发布与累计快照。

传统财报的 v5/v6 数据

已有发布包可以使用 training.cli 生成正文语料,具体命令见已有发布包生成语料。 这一入口不调用翻译或改写模型,也不执行飞轮的目标 tokenizer 配方。

SFT 指令微调数据

批准的 v7 原文与表格还可以生成文档问答、结构化抽取和表格计算数据。 输出完整 messages、精确证据、审核与血缘,不使用 CPT 的文本切片方式。 见 SFT 数据生成,包含独立 CLI、每日启用、缓存续作及划分限制。

图表多模态 SFT

可选配方 config/sft-vision.json 支持看图问答和表格图片转 JSON,导出包含原图、类型化消息及视觉证据区域。 图片随数据集打包,文本/视觉训练文件分别输出,见图表多模态 SFT。

方法与配比


Table of contents