金融文档治理与训练数据
把金融文档转成可追溯的预训练与 SFT 数据：从来源采集、OCR 和图表治理，到模型处理、独立审核与语料发布。
首次使用从快速开始进入；左侧导航按数据处理、训练数据、运维和参考分组。
网站提供中文与英文版本，可在顶部切换。尚未翻译的页面会切换到英文首页； 英文版目前覆盖主要使用流程，完整参考教程仍可查阅中文版。
本文档随仓库代码维护。所有命令均在项目根目录执行；真实连接与凭据填写在本机 .env， 来源目标位于 config/collection.json，飞轮配方与预算位于 config/flywheel.json。
从哪里开始
| 使用场景 | 推荐入口 | 接着阅读 |
|---|---|---|
| 每日自动抓取、处理图表并生成预训练数据 | workflow.flywheel_cli | 每日数据飞轮 |
| 飞书 / Telegram / Discord / Slack、PDF 上传、复核，或连接外部助手 | integrations.cli | 应用连接与 MCP |
| 手工提供一份财报 PDF | workflow.cli 的 local_financial | 运维手册 |
| 已经采集好财报 | workflow.cli 的 collected_financial | 运维手册 |
| 已经完成 OCR | workflow.cli 的 govern_and_publish | 运维手册 |
| 只想发现来源或下载 PDF | 财报 / 学术采集器、下载器 | 数据来源与采集 |
| 从 v7 证据生成文本与多模态指令数据 | training.sft_cli | 文本 SFT · 图表多模态 SFT |
| 扩展生成方法、控制比例和学习配比 | training.mixture_cli / training.mixture_experiments | 方法库 · 数据配比 · DoReMi / RegMix |
| 从已有 v5/v6 发布包生成文本语料 | training.cli | 已有发布包生成预训练语料 |
推荐阅读顺序
首次使用每日飞轮：
- 安装与模型配置：Python、OCR、视觉/审核模型与 tokenizer。
- 来源与准入策略：采集目标、生成方法、训练使用范围及预算。
- 日常操作：执行一次、查看状态、复核、重试和血缘查询。
- 发布与训练数据：数据增量、来源增量与累计快照。
- 每日定时：先完成少量真实运行和抽查，再安装系统调度。
按主题查阅
使用与配置
- 每日数据飞轮：完整自动流程的主要手册。
- 应用连接与 MCP：四个消息入口、后台 worker 和 OpenClaw / Hermes 配置，左侧子页面按软件分开说明。
- 数据来源与采集：财报、论文与手工下载清单。
- PaddleOCR 部署与连接：自建服务、隧道与云端客户端。
- 命令与参数参考：独立入口的详细参数。
- 可选小模型精炼插件：开关、模型选择、操作协议、审核与恢复。
处理与数据格式
- 财报处理与交付：传统流水线、运行目录、财报元数据和发布内容。
- 清洗、切片与 LLM 治理：规则、chunk 身份、表格增强与幂等处理。
- 已有发布包生成预训练语料：v5/v6 文本构建入口。
- 飞轮数据与数据库：图表资产、任务台账和多父级血缘。
运维与设计
- 本地运行与运维：观察状态、校验交付、人工复核、备份与恢复。
- 运行日志与排错：日志格式、级别与轮转配置。
- 环境配置排查：配置预检、常见缺项与处理方法。
- 数据飞轮架构：处理链路、模块职责与数据发布。
- 编写文档与添加图片：图片路径、导航和页面写法。
- GitHub Pages 发布说明：首次启用、日常更新和部署排错。
两类发布入口
传统财报流程输出 v5/v6 发布包，由 training.cli 生成模型无关的正文语料。 每日飞轮输出 v7 证据包，由飞轮构建器执行来源准入、候选审核、目标 tokenizer 分段和训练/验证划分。 处理 v7 数据时使用飞轮入口，具体文件格式见发布与训练数据。
SFT 使用 training.sft_cli 从本机 v7 证据生成指令数据，也可作为每日可选阶段，见 SFT 数据生成。