AI 与自动化 / 项目记录
论坛语料与本地检索库
把分页帖子整理成可追溯、可增量更新的本地语料，并提供按主题浏览和精简导出。
PythonJSONRAGData pipeline
01 / 为什么做
长帖、多页回复和版本变化让资料难以检索与维护。
02 / 一眼看懂流程
它如何运作
- 01分页读取
- 02清洗与去重
- 03校验后合并
- 04本地浏览/导出
03 / 具体做了什么
已有的功能与产物
01
按主题保留来源和楼层结构
02
失败保留旧版、增量刷新与历史归档
03
轻量浏览页和紧凑文字 JSON
04 / 当前进度
现在做到哪里了
已有语料处理流程与本地浏览版本。展示工程方法，原始语料作为私人研究资料保存。