Opik 开源 LLM 可观测性与评估平台AI Agent Tracing、LLM 评估与自托管部署实战指南【免费下载链接】comet-llmDebug, evaluate, and monitor your LLM applications, RAG systems, and agentic workflows with comprehensive tracing, automated evaluations, and production-ready dashboards.项目地址: https://gitcode.com/GitHub_Trending/co/comet-llmOpik 是 Comet 推出的 Apache-2.0 开源 LLM 可观测性与评估平台覆盖 LLM 应用从开发期首个 Trace 到生产监控的完整生命周期。本文以仓库根目录的 readme_DE.md德语版项目说明为骨架结合仓库源码与部署脚本系统讲解 Opik 的核心能力、Python SDK 快速接入、track追踪机制、Docker Compose / Kubernetes 自托管方案、集成生态与 LLM-as-a-Judge 评估实践帮助读者在一小时内完成从零部署到产出第一条 Trace 与第一次评估的完整闭环。 Opik 是什么一个开源的 LLM 全生命周期平台Opik 定位于 LLM 可观测性Observability与评估Evaluation赛道面向开发 LLM 应用与 AI Agent 的团队覆盖开发追踪 → 评估迭代 → 生产监控的完整链路。其核心产品能力包括AI Agent Tracing 与可观测性对 LLM 调用、对话记录与 Agent 活动进行深度追踪为多步骤 Agent 与工具调用生成完整 Trace 树LLM 评估提供 Datasets、Experiments 与 LLM-as-a-Judge 指标用于幻觉检测、内容审核Moderation与 RAG 效果评估Prompt 与 Agent 优化Opik Agent Optimizer SDK 可持续改进 Prompt 与 Agent 行为生产级监控可扩展的 Dashboard 与 Online Evaluation 规则支持大规模生产 Trace 记录Opik Guardrails辅助实现安全、负责任 AI 实践的护栏能力CI/CD 评估内置 PyTest 集成可在每次提交时测试 LLM 流水线。从源码结构看该仓库是一个完整的多模块单体仓库monorepoapps/opik-backendJava 后端、apps/opik-frontendWeb 前端、apps/opik-python-backendPython 后端、sdks/pythonPython SDK、sdks/typescriptTypeScript SDK以及 sdks/opik_optimizerAgent 优化器。当前仓库版本为2.2.60见 version.txt。目标用户开发 LLM Agent 的 ML 工程师、从原型走向生产的 AI 团队以及需要可自托管、可在自有环境运行的开源可观测性方案的工程团队。开源的意义Opik 采用 Apache-2.0 许可证可免费自托管完整平台包括服务端后端而不仅是客户端 SDK。这意味着你可以在自有基础设施内运行 LLM 可观测性服务数据不离开你的环境也无需进行企业商务谈判。⚡ Schnellstart五分钟跑通 Python SDK 追踪安装与配置安装 Python SDK 并执行配置命令pip install opik opik configure也可以使用uv安装uv pip install opikopik configure会以交互方式询问 Opik 服务器地址自托管实例或 API Key 与 WorkspaceComet.com 云服务。从源码看该命令的实现位于 sdks/python/src/opik/cli/configure.py它会将配置写入~/.opik.config并可选地帮你为 Claude Code、Cursor、VS Code Copilot 等 AI 编程客户端注册 MCP 服务器。如果你希望跳过交互直接在代码内指向本地自托管实例可以调用import opik opik.configure(use_localTrue) # 指向本地自托管安装从 sdks/python/src/opik/configurator/configure.py 的源码可以看到use_localTrue会让 SDK 默认指向本地OPIK_BASE_URL_LOCAL而use_localFalse默认则指向 Opik Cloud 的OPIK_BASE_URL_CLOUD需要配合 API Key 与 Workspace 使用。在自托管部署场景下opik.sh 脚本启动完成后会自动在~/.opik.config中写入url_override http://localhost:5173/api/与workspace defaultSDK 即可直接连通本地平台。用 track 装饰器记录 Trace用track装饰任意函数即可开始记录 Tracefrom opik import track track def my_function(input: str) - str: return input此后每次调用my_function都会被 Opik 记录包括嵌套调用——因此它适用于完整的 Agent 与流水线 Trace而不仅是单个 LLM 调用。其底层实现位于 sdks/python/src/opik/decorator/tracker.pyOpikTrackDecorator会在函数调用前通过_start_span_inputs_preprocessor提取函数名、输入参数、tags、metadata 与 project_name 等信息创建 Span并在函数结束后通过_end_span_inputs_preprocessor记录输出结果从而自动形成可嵌套的 Trace 树。连接你的 Coding AgentMCP 服务器Opik 支持让 Claude Code、Cursor、VS Code Copilot、Codex 或 opencode 直接读取 Trace、评估输出并执行评估。一条命令即可完成配置仅需uv无需安装 SDKuvx opik mcp configure该命令同时覆盖自托管部署场景。相关实现位于 sdks/python/src/opik/cli/mcp.py。配置完成后你的 AI 编程助手即可在聊天中直接查询 Trace、记录评分与运行实验。 Opik 与同类工具对比Opik 在LLM 可观测性 / AI Agent 评估赛道上与 LangSmith、ArizePhoenix 与 Arize AX、Weights BiasesWeave、Langfuse、Braintrust 等工具竞争。下表基于 readme_DE.md 的能力对比能力OpikLangSmithPhoenixArize AXWeights Biases (Weave)LangfuseBraintrust开源是Apache-2.0完整平台否Source-availableElastic License 2.0非 OSI 认可否开源 SDK/工具包自托管平台需商业许可MIT 许可核心平台商业企业模块否自托管部署是仅企业版是仅企业版仅企业版Weave 自身是核心仅企业版免费档云或自托管是两者皆有是云是自托管是云是云是两者皆有是云Agent / 多步骤 Tracing是是是是是是是LLM-as-a-Judge 评估是是是是是是是Prompt 管理是是部分部分部分是是框架无关是部分围绕 LangChain 构建是是是是是团队选择 Opik 的理由Opik 的完整可观测性、评估与优化平台以 Apache-2.0 许可发布并可免费自托管。与那些自托管需要企业版许可的封闭平台不同Opik 无需商业许可即可部署且框架无关不会将你绑定在单一 Agent 生态中。❓ 常见问题FAQOpik 是开源的吗是。Opik 采用 Apache 2.0 许可其服务端、Web 应用及基础可观测性与评估功能均可无商业许可自托管。可以自托管 Opik 吗可以。Opik 可通过文档化的自托管选项在本地或自有基础设施中部署。Opik 支持 AI Agent Tracing 吗支持。Opik 捕获包含 LLM 调用、工具执行、检索步骤及其他 Agent 活动的多步骤 Trace。Opik 支持 LLM 评估吗支持。Opik 支持 Datasets、Experiments、基于代码的指标、LLM-as-a-Judge 评估与 Online Evaluation。Opik 绑定特定 Agent 框架吗不绑定。Opik 框架无关同时支持自有 SDK、OpenTelemetry 与框架特定集成。️ Opik 服务器安装从 Docker Compose 到 Kubernetes方案一Comet.com 云服务最简单、推荐无需任何安装即可立即访问 Opik适合快速起步与免运维场景。方案二自托管以获得完全控制在自有环境部署 Opik本地与测试场景选择 Docker需要可扩展性时选择 Kubernetes。Docker Compose 自托管本地开发与测试仓库根目录提供了opik.shLinux/macOS与opik.ps1Windows两个一键安装脚本# 克隆 Opik 仓库 git clone https://gitcode.com/GitHub_Trending/co/comet-llm # 进入仓库目录 cd comet-llm # 启动 Opik 平台 ./opik.shWindows 环境使用git clone https://gitcode.com/GitHub_Trending/co/comet-llm cd comet-llm powershell -ExecutionPolicy ByPass -c .\opik.ps1安装脚本支持的选项以opik.sh为例opik.ps1行为一致# 启动完整 Opik 套件默认行为 ./opik.sh # 仅启动基础设施服务数据库、缓存等 ./opik.sh --infra # 启动基础设施 后端服务 ./opik.sh --backend # 在任意模式下启用 Guardrails ./opik.sh --guardrails # Guardrails 完整 Opik 套件 ./opik.sh --backend --guardrails # Guardrails 基础设施 后端 # 启动前从源码构建容器 ./opik.sh --build # 检查所有容器健康状态 ./opik.sh --verify # 停止所有容器 ./opik.sh --stop # 停止所有容器并删除所有 Opik 数据卷 # 警告所有 Opik 数据将丢失 ./opik.sh --clean # 显示所有可用选项 ./opik.sh --help从 opik.sh 源码看脚本还额外支持--info仅在所有容器运行时显示欢迎横幅与系统状态、--demo-data触发示例数据生成需要后端等核心服务已运行、--debug调试模式输出详细日志、--port-mapping启用所有容器的端口映射以及--guardrails-cpu使用纯 CPU 镜像启用 Guardrails无需 GPU。其中--infra、--backend、--local-be、--local-be-fe四个 profile 参数互斥脚本会校验并拒绝同时使用。脚本底层通过 Docker Compose 拉起服务。查看 deployment/docker-compose/docker-compose.yaml 可知完整套件包含以下基础设施MySQL 8.4.2存储项目、数据集等元数据默认库名/用户/密码均为opikClickHouse 26.3.16.16存储 Trace、Span 等时序数据通过 ZooKeeper 协调Redis 7.2.4缓存与队列ZooKeeper 3.9.4ClickHouse 分布式协调MinIO对象存储S3 兼容用于附件等;另有demo-data-generator服务用于一键生成示例数据./opik.sh --demo-data。脚本会自动等待所有容器进入 healthy 状态默认最多重试 60 秒并在启动成功后自动生成~/.opik.config指向本地 API 地址。各服务的 Dockerfile 确保容器以非 root 用户运行以增强安全性。一切就绪后在浏览器访问 localhost:5173 即可看到平台 UI。Kubernetes Helm 自托管可扩展部署对于生产环境或大规模自托管部署可使用仓库 deployment/helm_chart/opik 中的 Helm Chart 将 Opik 安装到 Kubernetes 集群。Chart 的 values.yaml 提供了各组件的镜像、副本数、资源配额等可调参数templates 目录下包含完整的 Deployment、Service、ConfigMap 等清单。 Opik 客户端 SDK 与 API 生态Opik 提供多种客户端库与 REST API 用于与服务器交互包括 Python 与 TypeScript SDK以及对OpenTelemetry的原生支持任何具备 OpenTelemetry SDK 的语言——包括 Java、Ruby 和 .NET——都可以向 Opik 发送 Trace。后端 API 的 OpenAPI 规范可参考 apps/opik-backend/redoc/index.html。Python SDK 快速上手安装# 使用 pip 安装 pip install opik # 或使用 uv 安装 uv pip install opik运行opik configure完成配置询问自托管服务器地址或 Comet.com 的 API Key 与 Workspace。也可在代码中调用opik.configure(use_localTrue)指向本地自托管实例或直接传入 API Key 与 Workspace 指向云服务。 通过集成记录 Trace记录 Trace 最简便的方式是使用 Opik 的直接集成。仓库中 sdks/python/src/opik/integrations 目录包含各框架的集成实现源码。Opik 支持广泛的框架生态下表为 readme_DE.md 所列集成的完整清单集成说明ADK记录 Google Agent Development Kit (ADK) 的 TraceAG2记录 AG2 LLM 调用的 TraceAgent Spec记录 Agent-Spec 调用的 TraceAIsuite记录 aisuite LLM 调用的 TraceAgno记录 Agno Agent 编排框架调用的 TraceAnthropic记录 Anthropic LLM 调用的 TraceAutogen记录 Autogen Agent 工作流的 TraceBedrock记录 Amazon Bedrock LLM 调用的 TraceBeeAI (Python)记录 BeeAI Python Agent 框架调用的 TraceBeeAI (TypeScript)记录 BeeAI TypeScript Agent 框架调用的 TraceBytePlus记录 BytePlus LLM 调用的 TraceCloudflare Workers AI记录 Cloudflare Workers AI 调用的 TraceCohere记录 Cohere LLM 调用的 TraceCrewAI记录 CrewAI 调用的 TraceCursor记录 Cursor 对话的 TraceDeepSeek记录 DeepSeek LLM 调用的 TraceDify记录 Dify Agent 运行的 TraceDSPY记录 DSPy 运行的 TraceFireworks AI记录 Fireworks AI LLM 调用的 TraceFlowise AI记录可视化 LLM 构建器 Flowise AI 的 TraceGemini (Python)记录 Google Gemini LLM 调用的 TraceGemini (TypeScript)记录 Google Gemini TypeScript SDK 调用的 TraceGroq记录 Groq LLM 调用的 TraceGuardrails记录 Guardrails AI 校验的 TraceHaystack记录 Haystack 调用的 TraceHarbor记录 Harbor Benchmark 评估运行的 TraceInstructor记录 Instructor LLM 调用的 TraceLangChain (Python)记录 LangChain LLM 调用的 TraceLangChain (JS/TS)记录 LangChain JavaScript/TypeScript 调用的 TraceLangGraph记录 LangGraph 执行的 TraceLangflow记录可视化 AI 构建器 Langflow 的 TraceLiteLLM记录 LiteLLM 模型调用的 TraceLiveKit Agents记录 LiveKit Agents AI Agent 框架调用的 TraceLlamaIndex记录 LlamaIndex LLM 调用的 TraceMastra记录 Mastra AI 工作流框架调用的 TraceMicrosoft Agent Framework (Python)记录 Microsoft Agent Framework 调用的 TraceMicrosoft Agent Framework (.NET)记录 Microsoft Agent Framework .NET 调用的 TraceMistral AI记录 Mistral AI LLM 调用的 Tracen8n记录 n8n 工作流执行的 TraceNovita AI记录 Novita AI LLM 调用的 TraceOllama记录 Ollama LLM 调用的 TraceOpenAI (Python)记录 OpenAI LLM 调用的 TraceOpenAI (JS/TS)记录 OpenAI JavaScript/TypeScript 调用的 TraceOpenAI Agents记录 OpenAI Agents SDK 调用的 TraceOpenClaw记录 OpenClaw Agent 运行的 TraceOpenRouter记录 OpenRouter LLM 调用的 TraceOpenTelemetry记录 OpenTelemetry 支持调用的 TraceOpenWebUI记录 OpenWebUI 对话的 TracePipecat记录 Pipecat 实时语音 Agent 调用的 TracePredibase记录 Predibase LLM 调用的 TracePydantic AI记录 PydanticAI Agent 调用的 TraceRagas记录 Ragas 评估的 TraceSemantic Kernel记录 Microsoft Semantic Kernel 调用的 TraceSmolagents记录 Smolagents Agent 的 TraceSpring AI记录 Spring AI 框架调用的 TraceStrands Agents记录 Strands Agents 调用的 TraceTogether AI记录 Together AI LLM 调用的 TraceTrueFoundry记录 TrueFoundry AI Gateway LLM 调用的 TraceVercel AI SDK记录 Vercel AI SDK 调用的 TraceVoltAgent记录 VoltAgent Agent 框架调用的 TraceWatsonX记录 IBM watsonx LLM 调用的 TracexAI Grok记录 xAI Grok LLM 调用的 Trace如果你使用的框架不在上表可以提交 Issue 或在仓库中贡献新的集成实现。不使用任何框架时可以直接用track装饰器记录 Traceimport opik opik.configure(use_localTrue) # 本地运行 opik.track def my_llm_function(user_question: str) - str: # 你的 LLM 代码 return Hellotrack装饰器可与任何集成组合使用也可用于追踪嵌套函数调用形成完整的多层 Trace 树。⚖️ LLM-as-a-Judge 指标Python Opik SDK 内置一组 LLM-as-a-Judge 指标用于评估 LLM 应用质量。其实现位于 sdks/python/src/opik/evaluation/metrics注意仓库中 sdks/opik_optimizer 等模块也包含相关评测实现。使用方式非常简单——导入指标并调用score函数from opik.evaluation.metrics import Hallucination metric Hallucination() score metric.score( inputWhat is the capital of France?, outputParis, context[France is a country in Europe.] ) print(score)除 LLM-as-a-Judge 指标外Opik 还内置了多种现成的启发式heuristic指标并支持自定义指标。这类 Judge 指标可用于幻觉检测Hallucination、内容审核Moderation与 RAG 评估Answer Relevance、Context Precision 等既可以在离线评估中使用也可以部署为生产环境的 Online Evaluation 规则持续识别生产问题。 评估你的 LLM 应用Opik 支持在开发阶段使用Datasets与Experiments对 LLM 应用进行系统化评估Datasets组织测试样本集合作为评估输入基准Experiments对同一数据集运行不同 Prompt / 模型版本并在 UI 中对比实验结果Dashboard提供增强的实验对比图表并更好地处理大规模 TraceCI/CD 集成借助 PyTest 集成将评估嵌入流水线实现每次提交自动回归测试。评估与实验的 Python 实现可参考 sdks/python/src/opik/evaluation示例代码见 sdks/python/examples如 evaluation_example.py、metrics.py、evaluate_prompt.pyTypeScript SDK 对应实现位于 sdks/typescript/src/opik示例见 sdks/typescript/examples。 参与贡献Opik 欢迎社区以多种方式参与贡献详见 CONTRIBUTING.md提交 Bug 报告与功能请求Issue审阅文档并提交 Pull Request 改进在社区中分享 Opik 的使用经验为热门功能请求投票表达支持。从 apps/opik-backend、apps/opik-frontend、sdks/python 到 sdks/typescript各子项目均配有AGENTS.md开发指南仓库根目录的 Makefile 与 scripts 目录提供了完整的开发、构建与测试工具链方便开发者快速搭建本地开发环境并提交高质量 PR。【免费下载链接】comet-llmDebug, evaluate, and monitor your LLM applications, RAG systems, and agentic workflows with comprehensive tracing, automated evaluations, and production-ready dashboards.项目地址: https://gitcode.com/GitHub_Trending/co/comet-llm创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 Opik 开源 LLM 可观测性与评估平台：AI Agent Tracing、LLM 评估与自托管部署实战指南
Opik 开源 LLM 可观测性与评估平台AI Agent Tracing、LLM 评估与自托管部署实战指南【免费下载链接】comet-llmDebug, evaluate, and monitor your LLM applications, RAG systems, and agentic workflows with comprehensive tracing, automated evaluations, and production-ready dashboards.项目地址: https://gitcode.com/GitHub_Trending/co/comet-llmOpik 是 Comet 推出的 Apache-2.0 开源 LLM 可观测性与评估平台覆盖 LLM 应用从开发期首个 Trace 到生产监控的完整生命周期。本文以仓库根目录的 readme_DE.md德语版项目说明为骨架结合仓库源码与部署脚本系统讲解 Opik 的核心能力、Python SDK 快速接入、track追踪机制、Docker Compose / Kubernetes 自托管方案、集成生态与 LLM-as-a-Judge 评估实践帮助读者在一小时内完成从零部署到产出第一条 Trace 与第一次评估的完整闭环。 Opik 是什么一个开源的 LLM 全生命周期平台Opik 定位于 LLM 可观测性Observability与评估Evaluation赛道面向开发 LLM 应用与 AI Agent 的团队覆盖开发追踪 → 评估迭代 → 生产监控的完整链路。其核心产品能力包括AI Agent Tracing 与可观测性对 LLM 调用、对话记录与 Agent 活动进行深度追踪为多步骤 Agent 与工具调用生成完整 Trace 树LLM 评估提供 Datasets、Experiments 与 LLM-as-a-Judge 指标用于幻觉检测、内容审核Moderation与 RAG 效果评估Prompt 与 Agent 优化Opik Agent Optimizer SDK 可持续改进 Prompt 与 Agent 行为生产级监控可扩展的 Dashboard 与 Online Evaluation 规则支持大规模生产 Trace 记录Opik Guardrails辅助实现安全、负责任 AI 实践的护栏能力CI/CD 评估内置 PyTest 集成可在每次提交时测试 LLM 流水线。从源码结构看该仓库是一个完整的多模块单体仓库monorepoapps/opik-backendJava 后端、apps/opik-frontendWeb 前端、apps/opik-python-backendPython 后端、sdks/pythonPython SDK、sdks/typescriptTypeScript SDK以及 sdks/opik_optimizerAgent 优化器。当前仓库版本为2.2.60见 version.txt。目标用户开发 LLM Agent 的 ML 工程师、从原型走向生产的 AI 团队以及需要可自托管、可在自有环境运行的开源可观测性方案的工程团队。开源的意义Opik 采用 Apache-2.0 许可证可免费自托管完整平台包括服务端后端而不仅是客户端 SDK。这意味着你可以在自有基础设施内运行 LLM 可观测性服务数据不离开你的环境也无需进行企业商务谈判。⚡ Schnellstart五分钟跑通 Python SDK 追踪安装与配置安装 Python SDK 并执行配置命令pip install opik opik configure也可以使用uv安装uv pip install opikopik configure会以交互方式询问 Opik 服务器地址自托管实例或 API Key 与 WorkspaceComet.com 云服务。从源码看该命令的实现位于 sdks/python/src/opik/cli/configure.py它会将配置写入~/.opik.config并可选地帮你为 Claude Code、Cursor、VS Code Copilot 等 AI 编程客户端注册 MCP 服务器。如果你希望跳过交互直接在代码内指向本地自托管实例可以调用import opik opik.configure(use_localTrue) # 指向本地自托管安装从 sdks/python/src/opik/configurator/configure.py 的源码可以看到use_localTrue会让 SDK 默认指向本地OPIK_BASE_URL_LOCAL而use_localFalse默认则指向 Opik Cloud 的OPIK_BASE_URL_CLOUD需要配合 API Key 与 Workspace 使用。在自托管部署场景下opik.sh 脚本启动完成后会自动在~/.opik.config中写入url_override http://localhost:5173/api/与workspace defaultSDK 即可直接连通本地平台。用 track 装饰器记录 Trace用track装饰任意函数即可开始记录 Tracefrom opik import track track def my_function(input: str) - str: return input此后每次调用my_function都会被 Opik 记录包括嵌套调用——因此它适用于完整的 Agent 与流水线 Trace而不仅是单个 LLM 调用。其底层实现位于 sdks/python/src/opik/decorator/tracker.pyOpikTrackDecorator会在函数调用前通过_start_span_inputs_preprocessor提取函数名、输入参数、tags、metadata 与 project_name 等信息创建 Span并在函数结束后通过_end_span_inputs_preprocessor记录输出结果从而自动形成可嵌套的 Trace 树。连接你的 Coding AgentMCP 服务器Opik 支持让 Claude Code、Cursor、VS Code Copilot、Codex 或 opencode 直接读取 Trace、评估输出并执行评估。一条命令即可完成配置仅需uv无需安装 SDKuvx opik mcp configure该命令同时覆盖自托管部署场景。相关实现位于 sdks/python/src/opik/cli/mcp.py。配置完成后你的 AI 编程助手即可在聊天中直接查询 Trace、记录评分与运行实验。 Opik 与同类工具对比Opik 在LLM 可观测性 / AI Agent 评估赛道上与 LangSmith、ArizePhoenix 与 Arize AX、Weights BiasesWeave、Langfuse、Braintrust 等工具竞争。下表基于 readme_DE.md 的能力对比能力OpikLangSmithPhoenixArize AXWeights Biases (Weave)LangfuseBraintrust开源是Apache-2.0完整平台否Source-availableElastic License 2.0非 OSI 认可否开源 SDK/工具包自托管平台需商业许可MIT 许可核心平台商业企业模块否自托管部署是仅企业版是仅企业版仅企业版Weave 自身是核心仅企业版免费档云或自托管是两者皆有是云是自托管是云是云是两者皆有是云Agent / 多步骤 Tracing是是是是是是是LLM-as-a-Judge 评估是是是是是是是Prompt 管理是是部分部分部分是是框架无关是部分围绕 LangChain 构建是是是是是团队选择 Opik 的理由Opik 的完整可观测性、评估与优化平台以 Apache-2.0 许可发布并可免费自托管。与那些自托管需要企业版许可的封闭平台不同Opik 无需商业许可即可部署且框架无关不会将你绑定在单一 Agent 生态中。❓ 常见问题FAQOpik 是开源的吗是。Opik 采用 Apache 2.0 许可其服务端、Web 应用及基础可观测性与评估功能均可无商业许可自托管。可以自托管 Opik 吗可以。Opik 可通过文档化的自托管选项在本地或自有基础设施中部署。Opik 支持 AI Agent Tracing 吗支持。Opik 捕获包含 LLM 调用、工具执行、检索步骤及其他 Agent 活动的多步骤 Trace。Opik 支持 LLM 评估吗支持。Opik 支持 Datasets、Experiments、基于代码的指标、LLM-as-a-Judge 评估与 Online Evaluation。Opik 绑定特定 Agent 框架吗不绑定。Opik 框架无关同时支持自有 SDK、OpenTelemetry 与框架特定集成。️ Opik 服务器安装从 Docker Compose 到 Kubernetes方案一Comet.com 云服务最简单、推荐无需任何安装即可立即访问 Opik适合快速起步与免运维场景。方案二自托管以获得完全控制在自有环境部署 Opik本地与测试场景选择 Docker需要可扩展性时选择 Kubernetes。Docker Compose 自托管本地开发与测试仓库根目录提供了opik.shLinux/macOS与opik.ps1Windows两个一键安装脚本# 克隆 Opik 仓库 git clone https://gitcode.com/GitHub_Trending/co/comet-llm # 进入仓库目录 cd comet-llm # 启动 Opik 平台 ./opik.shWindows 环境使用git clone https://gitcode.com/GitHub_Trending/co/comet-llm cd comet-llm powershell -ExecutionPolicy ByPass -c .\opik.ps1安装脚本支持的选项以opik.sh为例opik.ps1行为一致# 启动完整 Opik 套件默认行为 ./opik.sh # 仅启动基础设施服务数据库、缓存等 ./opik.sh --infra # 启动基础设施 后端服务 ./opik.sh --backend # 在任意模式下启用 Guardrails ./opik.sh --guardrails # Guardrails 完整 Opik 套件 ./opik.sh --backend --guardrails # Guardrails 基础设施 后端 # 启动前从源码构建容器 ./opik.sh --build # 检查所有容器健康状态 ./opik.sh --verify # 停止所有容器 ./opik.sh --stop # 停止所有容器并删除所有 Opik 数据卷 # 警告所有 Opik 数据将丢失 ./opik.sh --clean # 显示所有可用选项 ./opik.sh --help从 opik.sh 源码看脚本还额外支持--info仅在所有容器运行时显示欢迎横幅与系统状态、--demo-data触发示例数据生成需要后端等核心服务已运行、--debug调试模式输出详细日志、--port-mapping启用所有容器的端口映射以及--guardrails-cpu使用纯 CPU 镜像启用 Guardrails无需 GPU。其中--infra、--backend、--local-be、--local-be-fe四个 profile 参数互斥脚本会校验并拒绝同时使用。脚本底层通过 Docker Compose 拉起服务。查看 deployment/docker-compose/docker-compose.yaml 可知完整套件包含以下基础设施MySQL 8.4.2存储项目、数据集等元数据默认库名/用户/密码均为opikClickHouse 26.3.16.16存储 Trace、Span 等时序数据通过 ZooKeeper 协调Redis 7.2.4缓存与队列ZooKeeper 3.9.4ClickHouse 分布式协调MinIO对象存储S3 兼容用于附件等;另有demo-data-generator服务用于一键生成示例数据./opik.sh --demo-data。脚本会自动等待所有容器进入 healthy 状态默认最多重试 60 秒并在启动成功后自动生成~/.opik.config指向本地 API 地址。各服务的 Dockerfile 确保容器以非 root 用户运行以增强安全性。一切就绪后在浏览器访问 localhost:5173 即可看到平台 UI。Kubernetes Helm 自托管可扩展部署对于生产环境或大规模自托管部署可使用仓库 deployment/helm_chart/opik 中的 Helm Chart 将 Opik 安装到 Kubernetes 集群。Chart 的 values.yaml 提供了各组件的镜像、副本数、资源配额等可调参数templates 目录下包含完整的 Deployment、Service、ConfigMap 等清单。 Opik 客户端 SDK 与 API 生态Opik 提供多种客户端库与 REST API 用于与服务器交互包括 Python 与 TypeScript SDK以及对OpenTelemetry的原生支持任何具备 OpenTelemetry SDK 的语言——包括 Java、Ruby 和 .NET——都可以向 Opik 发送 Trace。后端 API 的 OpenAPI 规范可参考 apps/opik-backend/redoc/index.html。Python SDK 快速上手安装# 使用 pip 安装 pip install opik # 或使用 uv 安装 uv pip install opik运行opik configure完成配置询问自托管服务器地址或 Comet.com 的 API Key 与 Workspace。也可在代码中调用opik.configure(use_localTrue)指向本地自托管实例或直接传入 API Key 与 Workspace 指向云服务。 通过集成记录 Trace记录 Trace 最简便的方式是使用 Opik 的直接集成。仓库中 sdks/python/src/opik/integrations 目录包含各框架的集成实现源码。Opik 支持广泛的框架生态下表为 readme_DE.md 所列集成的完整清单集成说明ADK记录 Google Agent Development Kit (ADK) 的 TraceAG2记录 AG2 LLM 调用的 TraceAgent Spec记录 Agent-Spec 调用的 TraceAIsuite记录 aisuite LLM 调用的 TraceAgno记录 Agno Agent 编排框架调用的 TraceAnthropic记录 Anthropic LLM 调用的 TraceAutogen记录 Autogen Agent 工作流的 TraceBedrock记录 Amazon Bedrock LLM 调用的 TraceBeeAI (Python)记录 BeeAI Python Agent 框架调用的 TraceBeeAI (TypeScript)记录 BeeAI TypeScript Agent 框架调用的 TraceBytePlus记录 BytePlus LLM 调用的 TraceCloudflare Workers AI记录 Cloudflare Workers AI 调用的 TraceCohere记录 Cohere LLM 调用的 TraceCrewAI记录 CrewAI 调用的 TraceCursor记录 Cursor 对话的 TraceDeepSeek记录 DeepSeek LLM 调用的 TraceDify记录 Dify Agent 运行的 TraceDSPY记录 DSPy 运行的 TraceFireworks AI记录 Fireworks AI LLM 调用的 TraceFlowise AI记录可视化 LLM 构建器 Flowise AI 的 TraceGemini (Python)记录 Google Gemini LLM 调用的 TraceGemini (TypeScript)记录 Google Gemini TypeScript SDK 调用的 TraceGroq记录 Groq LLM 调用的 TraceGuardrails记录 Guardrails AI 校验的 TraceHaystack记录 Haystack 调用的 TraceHarbor记录 Harbor Benchmark 评估运行的 TraceInstructor记录 Instructor LLM 调用的 TraceLangChain (Python)记录 LangChain LLM 调用的 TraceLangChain (JS/TS)记录 LangChain JavaScript/TypeScript 调用的 TraceLangGraph记录 LangGraph 执行的 TraceLangflow记录可视化 AI 构建器 Langflow 的 TraceLiteLLM记录 LiteLLM 模型调用的 TraceLiveKit Agents记录 LiveKit Agents AI Agent 框架调用的 TraceLlamaIndex记录 LlamaIndex LLM 调用的 TraceMastra记录 Mastra AI 工作流框架调用的 TraceMicrosoft Agent Framework (Python)记录 Microsoft Agent Framework 调用的 TraceMicrosoft Agent Framework (.NET)记录 Microsoft Agent Framework .NET 调用的 TraceMistral AI记录 Mistral AI LLM 调用的 Tracen8n记录 n8n 工作流执行的 TraceNovita AI记录 Novita AI LLM 调用的 TraceOllama记录 Ollama LLM 调用的 TraceOpenAI (Python)记录 OpenAI LLM 调用的 TraceOpenAI (JS/TS)记录 OpenAI JavaScript/TypeScript 调用的 TraceOpenAI Agents记录 OpenAI Agents SDK 调用的 TraceOpenClaw记录 OpenClaw Agent 运行的 TraceOpenRouter记录 OpenRouter LLM 调用的 TraceOpenTelemetry记录 OpenTelemetry 支持调用的 TraceOpenWebUI记录 OpenWebUI 对话的 TracePipecat记录 Pipecat 实时语音 Agent 调用的 TracePredibase记录 Predibase LLM 调用的 TracePydantic AI记录 PydanticAI Agent 调用的 TraceRagas记录 Ragas 评估的 TraceSemantic Kernel记录 Microsoft Semantic Kernel 调用的 TraceSmolagents记录 Smolagents Agent 的 TraceSpring AI记录 Spring AI 框架调用的 TraceStrands Agents记录 Strands Agents 调用的 TraceTogether AI记录 Together AI LLM 调用的 TraceTrueFoundry记录 TrueFoundry AI Gateway LLM 调用的 TraceVercel AI SDK记录 Vercel AI SDK 调用的 TraceVoltAgent记录 VoltAgent Agent 框架调用的 TraceWatsonX记录 IBM watsonx LLM 调用的 TracexAI Grok记录 xAI Grok LLM 调用的 Trace如果你使用的框架不在上表可以提交 Issue 或在仓库中贡献新的集成实现。不使用任何框架时可以直接用track装饰器记录 Traceimport opik opik.configure(use_localTrue) # 本地运行 opik.track def my_llm_function(user_question: str) - str: # 你的 LLM 代码 return Hellotrack装饰器可与任何集成组合使用也可用于追踪嵌套函数调用形成完整的多层 Trace 树。⚖️ LLM-as-a-Judge 指标Python Opik SDK 内置一组 LLM-as-a-Judge 指标用于评估 LLM 应用质量。其实现位于 sdks/python/src/opik/evaluation/metrics注意仓库中 sdks/opik_optimizer 等模块也包含相关评测实现。使用方式非常简单——导入指标并调用score函数from opik.evaluation.metrics import Hallucination metric Hallucination() score metric.score( inputWhat is the capital of France?, outputParis, context[France is a country in Europe.] ) print(score)除 LLM-as-a-Judge 指标外Opik 还内置了多种现成的启发式heuristic指标并支持自定义指标。这类 Judge 指标可用于幻觉检测Hallucination、内容审核Moderation与 RAG 评估Answer Relevance、Context Precision 等既可以在离线评估中使用也可以部署为生产环境的 Online Evaluation 规则持续识别生产问题。 评估你的 LLM 应用Opik 支持在开发阶段使用Datasets与Experiments对 LLM 应用进行系统化评估Datasets组织测试样本集合作为评估输入基准Experiments对同一数据集运行不同 Prompt / 模型版本并在 UI 中对比实验结果Dashboard提供增强的实验对比图表并更好地处理大规模 TraceCI/CD 集成借助 PyTest 集成将评估嵌入流水线实现每次提交自动回归测试。评估与实验的 Python 实现可参考 sdks/python/src/opik/evaluation示例代码见 sdks/python/examples如 evaluation_example.py、metrics.py、evaluate_prompt.pyTypeScript SDK 对应实现位于 sdks/typescript/src/opik示例见 sdks/typescript/examples。 参与贡献Opik 欢迎社区以多种方式参与贡献详见 CONTRIBUTING.md提交 Bug 报告与功能请求Issue审阅文档并提交 Pull Request 改进在社区中分享 Opik 的使用经验为热门功能请求投票表达支持。从 apps/opik-backend、apps/opik-frontend、sdks/python 到 sdks/typescript各子项目均配有AGENTS.md开发指南仓库根目录的 Makefile 与 scripts 目录提供了完整的开发、构建与测试工具链方便开发者快速搭建本地开发环境并提交高质量 PR。【免费下载链接】comet-llmDebug, evaluate, and monitor your LLM applications, RAG systems, and agentic workflows with comprehensive tracing, automated evaluations, and production-ready dashboards.项目地址: https://gitcode.com/GitHub_Trending/co/comet-llm创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考