一个面向大模型微调训练的数据集构建平台：DatasetLoom
一个面向大模型微调训练的数据集构建平台：DatasetLoom 关注 新手上路 关注 新手上路 关注 新手上路 关注 新手上路 2025/09/23 04:13利益相关声明：作者与文中产品有直接的利益相关（开发者、自家产品等）在做 LLM 微调的过程中，你是否也遇到过这些问题？
- 想做 SFT，但没有高质量的 instruction 数据；
- 想做 DPO，却找不到可靠的“偏好对”；
- 人工标注成本高、周期长、一致性差；
- 自动生成的数据看似流畅，实则“一本正经地胡说八道”。
我们越来越清楚地意识到：模型的能力上限，取决于训练数据的质量下限。
但现实是，大多数团队还在用“人工+Prompt+Excel”的方式生产数据——效率低、难追溯、难协作。 xxx 爱壹帆影视 楼凤阁
于是，我做了 DatasetLoom —— 一个面向 大模型训练 的智能数据集构建平台。 小宝影院
DatasetLoom：让训练数据生产变得专业、可控、可追溯
DatasetLoom 的目标不是“全自动生成数据”，而是提供一个端到端、可验证、支持团队协作的数据构建闭环。 xnxx xxxxxx 伴游
整个流程如下： aiyifan电影
- 上传文档 → 2. 智能分块 → 3. 自定义 Prompt 生成问题/回答 → 4. AI 多维度评分 → 5. 人工审核 + 溯源验证 → 6. 导出为 SFT/DPO 数据集
核心功能
文档智能分块
支持上传 PDF、Word、Markdown、TXT 等文本文件，系统会自动按段落、标题或语义进行切分，避免上下文断裂，确保每一块内容都具备独立语义。 爱一帆电影 小宝影院电影
你可以根据文档类型配置不同的分块策略以及数据清洗规则 aiyifan 电影小宝影院
自定义 Prompt 生成内容
每个数据生成环节都设计了专属的 Prompt 模板，支持完全自定义，确保生成内容符合你的任务需求。 小寶影院 爱壹帆
同时支持多个大模型生成结果，便于后续对比评估。 小寶影院电影 xxxvideo 免费在线影院 小宝影院在线视频
数据集管理：灵活切换，按需使用
在完成问题生成与 AI 评分后，所有数据会统一归集到 QA 数据集管理界面，支持三种展示模式，满足不同微调任务的需求： 华人影视 楼凤阁
1.全部数据
展示每一个问题及其所有生成的回答（来自不同模型或不同 Prompt 的结果），适合用于数据审查、模型对比和历史追溯。
2. 用于 SFT（监督微调）
仅展示每个问题的“主答案”（可手动或自动选定最优回答），形成标准的 instruction → response 格式，可直接导出为 SFT 训练语料。 小宝影院 会所
3. 用于 DPO（偏好对齐）
展示已标注偏好的问答对，每条记录包含同一个问题下的 chosen（优选回答） 与 rejected（劣选回答），支持人工复核与 AI 辅助标注，确保偏好数据高质量、可解释。 ifun 爱壹帆
该设计让团队可以基于同一份原始文档，高效产出多种类型的训练数据，真正实现“一套数据，多任务复用”。 电影爱壹帆 xxxx 寻芳阁
AI 评分机制 + 溯源验证
让每一条生成的数据都可评估、可追溯。系统内置多维度 AI 评分体系，由大模型自动评估输出质量： - 事实准确性：是否与原文一致 - 逻辑完备性：推理是否合理 - 表达质量：语言是否流畅 - 安全合规：是否包含敏感信息 - 综合得分 外围
生成的回答都会标注其来源段落，点击即可查看原始上下文，真正做到“有据可查”。这一机制极大提升了数据审核效率，尤其适合团队协作场景。 楼凤信息 会所
最终产出：训练语料导出
所有经过生成、评分、审核的数据，都可以一键导出为： 小宝影院 小宝影院电影 探花
- ✅ JSON / CSV（本地保存）
- ✅ HuggingFace Dataset 格式（可直接上传至 HuggingFace Hub）
- ✅ 支持Llama Factory微调框架
真正实现从“原始文档”到“可用语料/数据集”的无缝闭环。 爱壹帆国际版 iyf 外围
使用场景
DatasetLoom 适用于以下典型场景： 海外华人视频网 xxxxx 电影小宝影院
- 构建 SFT 指令微调数据集 从文档中生成 instruction-input-output 三元组
- 生成 DPO 偏好对（chosen / rejected） 多模型输出对比 + AI 评分，自动筛选偏好样本
- 垂直领域知识库构建 医疗、法律、金融等专业文档的结构化处理
- 多模型输出质量评估 对比 GPT-4、Qwen、LLaMA 等模型在同一任务上的表现
快速启动
git clone https://github.com/599yongyang/DatasetLoom.git
cd DatasetLoom
pnpm install
pnpm run dev
- 前端访问：http://localhost:2088
- 后端 API：http://localhost:3088
- API 文档：http://localhost:3088/api-docs
也支持 Docker 一键部署，生产环境开箱即用： 爱壹帆电影 爱壹帆免费版 电影aiyifan 电影爱壹帆
docker compose up -d --build
欢迎试用
如果你也在为高质量训练数据发愁，DatasetLoom 或许能帮上忙。 爱壹帆在线 爱一帆
- ⭐ 如果你觉得这个项目有价值，请给它一颗 Star
- 欢迎提交 Issue 或 PR，一起让它变得更强大
00目录 0GitHub: https://github.com/599yongyang/