十年匠心定制 · 商业建站与技术教学双线并行 咨询热线:400-886-1026 service@lmnt.cn
ARTICLE DETAIL

资讯详情

深耕网站建设与运营推广的一线实战洞察。

MinerU API 国内网络模型加载失败解决:MINERU_MODEL_SOURCE 切换 ModelScope 完整指南

MinerU API 国内网络模型加载失败解决:MINERU_MODEL_SOURCE 切换 ModelScope 完整指南 MinerU API 国内网络模型加载失败解决MINERU_MODEL_SOURCE 切换 ModelScope 完整指南【免费下载链接】MinerUA high-quality tool for convert PDF to Markdown and JSON.一站式开源高质量数据提取工具将PDF转换成Markdown和JSON格式。项目地址: https://gitcode.com/OpenDataLab/MinerU你在国内网络部署mineru-api处理 PDF提交第一个文件就返回 500。原因是模型默认要去 HuggingFace 下载网络不通。本文用一个环境变量配平 MinerU 模型源让服务直接跑起来。服务能启动、解析却 500模型根本没下载下来mineru-api启动日志看着一切正常http://127.0.0.1:8000/docs也能打开。但一提交/file_parse解析 PDF立刻 500。翻服务端日志报错是huggingface_hub.errors.LocalEntryNotFoundError提示无法从 Hub 定位模型文件。问题不在代码在模型源。MinerU 未配置时会优先探测 HuggingFace国内网络连不通探测超时模型文件从头到尾没落到本地。后面所有解析自然失败。两行命令切到国内源把模型源指向 ModelScope再启动服务。Linux / macOS 终端执行export MINERU_MODEL_SOURCEmodelscope mineru-api --host 127.0.0.1 --port 8000Windows CMD 同样两步只是变量写法不同set MINERU_MODEL_SOURCEmodelscope mineru-api --host 127.0.0.1 --port 8000原理不复杂MINERU_MODEL_SOURCE环境变量优先级高于用户目录下的mineru.json。设为modelscope后模型下载改走 ModelScope SDK首次运行把模型缓存到本地之后启动不再依赖外网。注意别把环境变量设成auto想用自动探测就干脆不设它。modelscope / local / huggingface 怎么选取值适合场景关键点modelscope国内首次部署从 ModelScope 拉模型国内连通性好新手首选local生产环境、离线机器先跑mineru-models-download把模型落盘运行时不碰外网huggingface海外、有加速网络默认来源加载最快国内裸连不通三者是同一套模型只是来源不同。切到local后模型目录可以自由搬动但必须同步修改mineru.json里的models-dir否则加载时找不到文件。个人、团队、容器把配置写对地方个人使用把export MINERU_MODEL_SOURCEmodelscope追加进~/.bashrc新终端自动生效。第一次建议拿 demo 小 PDF 验证下载是否正常再上正式文档。团队协作变量写进项目文档和 CI 的环境变量里统一口径。首台机器用mineru-models-download完整缓存模型把模型目录连同mineru.json一起交给新同学。容器部署项目自带的 docker/china/Dockerfile 的 ENTRYPOINT 已导出MINERU_MODEL_SOURCElocal。按 docker/compose.yaml 给服务配好environment: MINERU_MODEL_SOURCE: local把宿主机模型目录挂载进容器启动即跑不重复下载。更多取值细节和自定义路径说明见官方模型源说明。TL;DR看到LocalEntryNotFoundError先查模型源别怀疑代码。启动前加一句export MINERU_MODEL_SOURCEmodelscope国内直接可用。生产环境用local加预下载模型最稳。【免费下载链接】MinerUA high-quality tool for convert PDF to Markdown and JSON.一站式开源高质量数据提取工具将PDF转换成Markdown和JSON格式。项目地址: https://gitcode.com/OpenDataLab/MinerU创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表