Utopia文档摄取完整指南：9种文件如何变成可推理的事实

【免费下载链接】utopia首个开源企业世界模型项目地址: https://gitcode.com/deeplethe/utopia

Utopia 是首个开源企业世界模型，它的文档摄取（Ingestion）能力让 PDF、Word、Excel、Markdown 等 9 种格式的文件，不只是"能搜索"，而是自动解析为带时间、带出处的可推理事实，存入双时间轴知识图谱。本指南面向新手，讲清一条文件从上传到入库的完整旅程。

📥 哪些文件可以摄取？

Utopia 支持以下9 类文件直接上传（详见 README.md 的功能列表）：

所有解析逻辑集中在 parsers.rs，每种格式对应一个解析函数（pdf、docx、pptx、spreadsheet、html、csv_text），统一输出 Markdown 中间格式——这是后续所有处理的地基。

🔄 上传之后：一条文件变成事实的四步流水线

官方流水线文档 docs/pipeline.md 描述了完整链路，对新手只需记住四步：

1. 解析与切块：文件被读成 Markdown 块（标题、段落、表格），再由 chunker.rs 按 token 预算打包成"块"（chunk）。表格会带着自己的标题和表头一起走，一行永远不会被拦腰截断（设计细节见 docs/design/sources.md）。
2. 嵌入即可查：块一旦完成向量嵌入，文档立即变为ready状态——全文检索和问答马上可用，无需等待后续步骤。
3. 抽取：后台对每个块调用一次大模型，抽取实体与事实。低置信度、结构不合法的条目会被记录丢弃原因（extraction_drops表），绝不静默丢失。
4. 入图：实体经过三级消解（精确同名 → 相似度 → 模型裁决）后，事实写入双时间轴账本：它"在世界上何时为真" + "系统何时得知"。纠错不覆盖旧值，而是关闭旧版本并留链。

💡 这就是"两阶段设计"的妙处：长文档几分钟后才长完图谱，但几秒内已可搜索问答。

⏱️ 时间轴与出处：让事实"可推理"的关键

普通向量库只存"现在的知识"，Utopia 的差异在于两个底层设计：

• 文档自带日期优先：doc_time字段（内容日期 > 来源日期 > 上传时间）决定文档在时间轴上的位置。上传时间永远不算文档日期（见 migrations/0055_a_name_is_a_fact.sql 之后的时间相关迁移）。
• 每条事实带出处：事实指向原文句子的偏移位置，回答时可点开原始段落；provenance.rs 保证引用永远不跨越知识库边界。

配合本体的公理推理（传递性、逆关系等），一份被修订三次的合同可以回答"2024 年 3 月 15 日生效的付款条款是什么"——答案、依据句和修正来源一并给出。

🚀 新手快速上手：三种接入方式

除了拖文件上传，Utopia 提供三种集成方式（完整字段参考 web/src/docs/ingest.md）：

三种方式共享同一套身份语义：同一 ID 再次推送 = 原地更新同一文档，旧内容保留为版本，搜索重建索引，知识图谱重新抽取。删除也只是打"源中不存在"标记，由人在 Library 里确认，绝不自动删除。

# 最简启动：Docker 一条命令 git clone https://gitcode.com/deeplethe/utopia cd utopia docker compose --profile app up -d # 打开 http://localhost:1516 注册，首个账号即管理员

✅ 小结

• Utopia 文档摄取支持9 种格式，统一走 Markdown 中间格式；
• 四步流水线：解析切块 → 嵌入可查 → 后台抽取 → 双时间轴入图；
• 每条事实带时间轴位置 + 原文出处，纠错留痕、冲突可审；
• 文件上传、拉取、推送三种接入方式，同一套"按身份更新、历史不丢"的语义。

上手后建议先看 scripts/bench/ 下的基准语料与 docs/decisions/ 中的决策记录，它们解释了每个设计背后的取舍。

【免费下载链接】utopia首个开源企业世界模型项目地址: https://gitcode.com/deeplethe/utopia