PraisonAI 智能体性能监控实战指南从monitor_function到综合性能仪表盘【免费下载链接】PraisonAIPraisonAI — Hire a 24/7 AI Workforce. Stop writing boilerplate and start shipping autonomous self-improving agents that research, plan, code, and execute tasks. Deployed in 5 lines of code with built-in memory, RAG, and support for 100 LLMs.项目地址: https://gitcode.com/GitHub_Trending/pr/PraisonAIPraisonAI为开发者提供了完整的智能体Agent性能监控方案。本指南以 examples/python/monitoring 目录下的 10 个示例为骨架系统讲解如何用monitor_function装饰器、track_api_call上下文管理器以及get_performance_report()等 API对单 Agent、多 Agent 协作、工具调用、异步任务、错误处理、记忆系统、层级 Agent 架构乃至流式输出进行全方位性能观测。读完本文你将掌握在 PraisonAI 项目中落地“函数级计时 API 调用追踪 执行流分析 趋势洞察”的完整性能监控实战方案。一、监控体系概览telemetry 模块的定位性能监控能力位于praisonaiagents.telemetry包内模块入口为 src/praisonai-agents/praisonaiagents/telemetry/init.py。该模块一分为二匿名遥测Telemetry隐私优先的匿名用量统计默认关闭不采集任何提示词、响应或用户内容性能监控Performance Monitoring面向开发者的函数计时、API 调用追踪、执行流分析与报告生成工具。性能监控相关的公开符号PerformanceMonitor、monitor_function、track_api_call、get_performance_report、analyze_function_flow等通过模块级__getattr__懒加载lazy-load方式暴露首次访问时才真正导入performance_monitor.py等子模块避免在常见的get_telemetry()路径上引入约 68K 的性能监控解析开销。因此你可以放心地统一从praisonaiagents.telemetry导入全部符号公共导入接口保持不变。二、快速开始5 步接入监控所有示例都遵循同一套基础模式来自 examples/python/monitoring/README.mdfrom praisonaiagents import Agent from praisonaiagents.telemetry import monitor_function, track_api_call monitor_function(my_function) def my_function(): # Your function code here pass agent Agent( instructionsYou are a helpful assistant, llmgpt-4o-mini ) with track_api_call(agent_request): result agent.start(Your question here)运行环境准备安装支持性能监控的 PraisonAIpip install praisonaiagents配置 LLM API Keyexport OPENAI_API_KEYyour-api-key-here # 或 export ANTHROPIC_API_KEYyour-anthropic-key-here运行任意示例python 01_basic_agent_with_monitoring.py python 10_comprehensive_dashboard.py监控的开关控制性能监控可通过环境变量控制读取逻辑见 src/praisonai-agents/praisonaiagents/telemetry/init.py# 关闭性能监控开销不影响功能运行 export PRAISONAI_PERFORMANCE_DISABLEDtrue # 启用昂贵的执行流分析仅按需开启opt-in export PRAISONAI_FLOW_ANALYSIS_ENABLEDtrue # 完全关闭遥测 export PRAISONAI_TELEMETRY_DISABLEDtrue export PRAISONAI_DISABLE_TELEMETRYtrue export DO_NOT_TRACKtrue # 通用标准也可以在代码中编程控制from praisonaiagents.telemetry import enable_telemetry, disable_telemetry enable_telemetry() # ... 运行监控代码 ... disable_telemetry()值得注意的底层细节来自 performance_monitor.py全局performance_monitor实例在导入时构造但其“是否禁用”状态并不缓存而是通过属性_monitoring_disabled每次实时查询共享遥测状态。这意味着运行时调用disable_telemetry()之后后续事件会立即停止记录而重新启用后数据采集会无缝恢复——因为数据结构始终初始化。三、核心监控工具与指标核心监控工具一览工具类型作用monitor_function(name)装饰器为函数计时并统计track_api_call(name)上下文管理器监控 API 调用get_performance_report()函数生成综合性能报告get_function_stats()函数获取函数性能明细get_api_stats()函数获取 API 调用指标进阶分析 API工具作用analyze_function_flow()分析执行流与瓶颈visualize_execution_flow()生成执行流可视化analyze_performance_trends()识别性能趋势generate_comprehensive_report()输出带优化建议的完整分析此外模块还提供get_slowest_functions()、get_slowest_apis()定位最慢函数/接口、clear_performance_data()清空数据、export_external_apm_metrics()导出 DataDog、New Relic 兼容的外部 APM 指标等实用函数。被追踪的性能指标执行时间最小值、最大值、平均值与累计执行时间min_time/max_time/total_time调用计数函数调用次数与 API 请求次数call_count错误率成功/失败比例与错误追踪success_count/error_count吞吐量每秒操作数与消息处理速率流分析函数调用链与执行模式基于_function_flow队列记录 start/end 事件与线程 ID。四、10 个示例逐层拆解1. 基础 Agent 监控01_basic_agent_with_monitoring.py入门示例演示监控三要素monitor_function装饰器计时、track_api_call上下文管理器追踪 API 调用、get_performance_report()检索统计结果。核心代码如下见 01_basic_agent_with_monitoring.pymonitor_function(question_processing) def process_question(question): Process the incoming question with performance tracking. print(fProcessing question: {question}) time.sleep(0.1) # Simulate some processing time return fProcessed: {question} monitor_function(agent_execution) def main(): question Why is the sky blue? processed_question process_question(question) agent Agent( instructionsYou are a helpful assistant that explains scientific concepts simply, llmgpt-4o-mini ) with track_api_call(sky_explanation_request): result agent.start(processed_question) # 打印综合性能报告 report get_performance_report() print(report)2. 多 Agent 工作流监控02_multi_agent_workflow_monitoring.py当系统包含多个角色分工的 Agent 时重点监控智能体间通信、工作流性能与任务委派耗时用于判断协作链路中哪一环最慢。3. 工具调用监控03_agent_with_tools_monitoring.py聚焦使用外部工具如搜索时的性能工具执行计时、搜索操作性能、工具调用成功/失败追踪与工具使用分析。可以把整个工具调用包在track_api_call中得到独立的成功率与响应时间统计。4. 异步 Agent 监控04_async_agent_monitoring.py针对异步工作流异步函数执行计时、并发任务性能、异步 API 调用追踪与并行操作分析。由于PerformanceMonitor内部使用threading.RLock保护共享数据结构并在线程维度记录thread_id与call_id格式为{name}_{thread_id}_{start_time}并发场景下统计依然线程安全。5. 错误处理监控05_error_handling_monitoring.py演示错误场景下的性能观测错误率追踪、失败操作计时、恢复机制性能、带监控的异常处理。从实现上看monitor_function包装函数在except分支捕获异常后仍会进入finally记录执行时间并将successFalse、error信息写入统计见 performance_monitor.py因此异常路径的耗时同样可观测。6. 记忆 Agent 监控06_memory_agent_monitoring.py针对有状态statefulAgent记忆存取计时、知识库操作、会话持久化性能、记忆检索优化。适合排查 RAG/记忆链路中的性能瓶颈。7. 层级 Agent 监控07_hierarchical_agents_monitoring.py监控 Manager-Worker 组织架构经理与工人 Agent 的关系、任务委派耗时、层级决策性能、跨层级通信。通过在不同层级函数上分别加monitor_function即可量化每层决策的开销。8. 自定义工具监控08_custom_tools_monitoring.py针对自建工具自定义工具执行计时、工具创建与注册性能、工具使用模式分析、工具效率优化。9. 流式监控09_streaming_monitoring.py面向实时/流式操作实时性能追踪、流式响应监控、实时性能指标、持续性能分析。典型模式来自原文档“实时监控模式”while streaming_active: with track_api_call(stream_message): process_message() # 实时检查性能 current_stats performance_monitor.get_function_performance()10. 综合仪表盘10_comprehensive_dashboard.py完整的监控解决方案一次性演示全部高级 API。从源码看见 10_comprehensive_dashboard.py它会构造多种角色 Agent快速问答、分析、研究、创意对 5 类测试场景逐一执行并采集数据最终调用get_slowest_functions、get_slowest_apis、analyze_function_flow、visualize_execution_flow、analyze_performance_trends、generate_comprehensive_report输出系统级监控概览与健康评分。五、三种常用监控模式基础监控模式monitor_function(function_name) def your_function(): # Function implementation pass with track_api_call(api_operation): result some_api_call()性能分析模式# 运行完被监控操作后 stats get_function_stats() report get_performance_report() trends analyze_performance_trends()实时监控模式while streaming_active: with track_api_call(stream_message): process_message() current_stats performance_monitor.get_function_performance()六、底层实现原理PerformanceMonitor的数据结构PerformanceMonitor类performance_monitor.py内部用defaultdict维护两类统计_function_stats每个函数维护call_count、total_time、min_time、max_time、recent_timesdeque(maxlen100)滑动窗口记录最近 100 次耗时、error_count、last_called_api_calls每次 API 调用维护call_count、total_time、min_time、max_time、success_count、error_count、recent_callsdeque(maxlen50)。执行流则记录在_function_flowdeque(maxlen10000)默认上限max_entries10000中每条记录包含函数名、时间戳、事件类型start/end、线程 ID结束时附带duration与success。这些滑动窗口与统计字段直接支撑了报告里的平均值、最值和趋势分析。track_api_call上下文管理器track_api_call(api_name, endpointNone)允许额外传入具体端点如/v1/chat/completions便于区分同一服务商的不同接口with performance_monitor.track_api_call(openai, /v1/chat/completions): response openai_client.chat.completions.create(...)七、示例输出与性能洞察每个示例都会输出类似如下的详细性能报告来自原文档 PERFORMANCE MONITORING RESULTS Function Performance Statistics: question_processing: Calls: 1 Avg Time: 0.100s Total Time: 0.100s agent_execution: Calls: 1 Avg Time: 1.250s Total Time: 1.250s API Call Performance: sky_explanation_request: Success Rate: 100.0% Average Response Time: 1.200s Total Calls: 1利用这些数据可以回答五类性能问题响应时间Agent 响应有多快瓶颈工作流中延迟发生在哪个环节错误模式什么在失败、失败频率如何资源使用不同操作的效率差异扩展行为性能如何随负载变化。八、最佳实践战略性监控不要监控一切聚焦关键路径如用户请求入口、外部 LLM 调用、工具执行建立性能基线为对比设定基准指标先跑一次“正常负载”作为对照错误与性能并行观测监控错误率的同时监控性能二者往往互为因果生产系统用实时分析对生产环境采用流式监控便于第一时间感知劣化定期回顾周期性分析趋势与模式识别渐进式退化。九、自定义与扩展自定义指标添加自己的性能计数器可基于performance_monitor实例扩展统计逻辑告警阈值为性能劣化设置告警数据导出通过export_external_apm_metrics()将性能数据导出到 DataDog、New Relic 等外部 APM 系统仪表盘集成基于监控 API 构建自定义仪表盘参考 10_comprehensive_dashboard.py 的组织方式。十、进一步阅读性能监控模块完整文档src/praisonai-agents/praisonaiagents/telemetry/README.md模块 API 入口src/praisonai-agents/praisonaiagents/telemetry/init.py监控实现源码src/praisonai-agents/praisonaiagents/telemetry/performance_monitor.py分析与可视化工具src/praisonai-agents/praisonaiagents/telemetry/performance_utils.pyCLI 工具src/praisonai-agents/praisonaiagents/telemetry/performance_cli.py10 个示例代码目录examples/python/monitoring注意性能监控是可选的可通过设置PRAISONAI_TELEMETRY_DISABLEDtrue随时关闭被监控的异常同样会被记录成功/失败与耗时一并入库因此不要因为担心异常而放弃监控关键路径。【免费下载链接】PraisonAIPraisonAI — Hire a 24/7 AI Workforce. Stop writing boilerplate and start shipping autonomous self-improving agents that research, plan, code, and execute tasks. Deployed in 5 lines of code with built-in memory, RAG, and support for 100 LLMs.项目地址: https://gitcode.com/GitHub_Trending/pr/PraisonAI创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 PraisonAI 智能体性能监控实战指南：从 `@monitor_function` 到综合性能仪表盘
PraisonAI 智能体性能监控实战指南从monitor_function到综合性能仪表盘【免费下载链接】PraisonAIPraisonAI — Hire a 24/7 AI Workforce. Stop writing boilerplate and start shipping autonomous self-improving agents that research, plan, code, and execute tasks. Deployed in 5 lines of code with built-in memory, RAG, and support for 100 LLMs.项目地址: https://gitcode.com/GitHub_Trending/pr/PraisonAIPraisonAI为开发者提供了完整的智能体Agent性能监控方案。本指南以 examples/python/monitoring 目录下的 10 个示例为骨架系统讲解如何用monitor_function装饰器、track_api_call上下文管理器以及get_performance_report()等 API对单 Agent、多 Agent 协作、工具调用、异步任务、错误处理、记忆系统、层级 Agent 架构乃至流式输出进行全方位性能观测。读完本文你将掌握在 PraisonAI 项目中落地“函数级计时 API 调用追踪 执行流分析 趋势洞察”的完整性能监控实战方案。一、监控体系概览telemetry 模块的定位性能监控能力位于praisonaiagents.telemetry包内模块入口为 src/praisonai-agents/praisonaiagents/telemetry/init.py。该模块一分为二匿名遥测Telemetry隐私优先的匿名用量统计默认关闭不采集任何提示词、响应或用户内容性能监控Performance Monitoring面向开发者的函数计时、API 调用追踪、执行流分析与报告生成工具。性能监控相关的公开符号PerformanceMonitor、monitor_function、track_api_call、get_performance_report、analyze_function_flow等通过模块级__getattr__懒加载lazy-load方式暴露首次访问时才真正导入performance_monitor.py等子模块避免在常见的get_telemetry()路径上引入约 68K 的性能监控解析开销。因此你可以放心地统一从praisonaiagents.telemetry导入全部符号公共导入接口保持不变。二、快速开始5 步接入监控所有示例都遵循同一套基础模式来自 examples/python/monitoring/README.mdfrom praisonaiagents import Agent from praisonaiagents.telemetry import monitor_function, track_api_call monitor_function(my_function) def my_function(): # Your function code here pass agent Agent( instructionsYou are a helpful assistant, llmgpt-4o-mini ) with track_api_call(agent_request): result agent.start(Your question here)运行环境准备安装支持性能监控的 PraisonAIpip install praisonaiagents配置 LLM API Keyexport OPENAI_API_KEYyour-api-key-here # 或 export ANTHROPIC_API_KEYyour-anthropic-key-here运行任意示例python 01_basic_agent_with_monitoring.py python 10_comprehensive_dashboard.py监控的开关控制性能监控可通过环境变量控制读取逻辑见 src/praisonai-agents/praisonaiagents/telemetry/init.py# 关闭性能监控开销不影响功能运行 export PRAISONAI_PERFORMANCE_DISABLEDtrue # 启用昂贵的执行流分析仅按需开启opt-in export PRAISONAI_FLOW_ANALYSIS_ENABLEDtrue # 完全关闭遥测 export PRAISONAI_TELEMETRY_DISABLEDtrue export PRAISONAI_DISABLE_TELEMETRYtrue export DO_NOT_TRACKtrue # 通用标准也可以在代码中编程控制from praisonaiagents.telemetry import enable_telemetry, disable_telemetry enable_telemetry() # ... 运行监控代码 ... disable_telemetry()值得注意的底层细节来自 performance_monitor.py全局performance_monitor实例在导入时构造但其“是否禁用”状态并不缓存而是通过属性_monitoring_disabled每次实时查询共享遥测状态。这意味着运行时调用disable_telemetry()之后后续事件会立即停止记录而重新启用后数据采集会无缝恢复——因为数据结构始终初始化。三、核心监控工具与指标核心监控工具一览工具类型作用monitor_function(name)装饰器为函数计时并统计track_api_call(name)上下文管理器监控 API 调用get_performance_report()函数生成综合性能报告get_function_stats()函数获取函数性能明细get_api_stats()函数获取 API 调用指标进阶分析 API工具作用analyze_function_flow()分析执行流与瓶颈visualize_execution_flow()生成执行流可视化analyze_performance_trends()识别性能趋势generate_comprehensive_report()输出带优化建议的完整分析此外模块还提供get_slowest_functions()、get_slowest_apis()定位最慢函数/接口、clear_performance_data()清空数据、export_external_apm_metrics()导出 DataDog、New Relic 兼容的外部 APM 指标等实用函数。被追踪的性能指标执行时间最小值、最大值、平均值与累计执行时间min_time/max_time/total_time调用计数函数调用次数与 API 请求次数call_count错误率成功/失败比例与错误追踪success_count/error_count吞吐量每秒操作数与消息处理速率流分析函数调用链与执行模式基于_function_flow队列记录 start/end 事件与线程 ID。四、10 个示例逐层拆解1. 基础 Agent 监控01_basic_agent_with_monitoring.py入门示例演示监控三要素monitor_function装饰器计时、track_api_call上下文管理器追踪 API 调用、get_performance_report()检索统计结果。核心代码如下见 01_basic_agent_with_monitoring.pymonitor_function(question_processing) def process_question(question): Process the incoming question with performance tracking. print(fProcessing question: {question}) time.sleep(0.1) # Simulate some processing time return fProcessed: {question} monitor_function(agent_execution) def main(): question Why is the sky blue? processed_question process_question(question) agent Agent( instructionsYou are a helpful assistant that explains scientific concepts simply, llmgpt-4o-mini ) with track_api_call(sky_explanation_request): result agent.start(processed_question) # 打印综合性能报告 report get_performance_report() print(report)2. 多 Agent 工作流监控02_multi_agent_workflow_monitoring.py当系统包含多个角色分工的 Agent 时重点监控智能体间通信、工作流性能与任务委派耗时用于判断协作链路中哪一环最慢。3. 工具调用监控03_agent_with_tools_monitoring.py聚焦使用外部工具如搜索时的性能工具执行计时、搜索操作性能、工具调用成功/失败追踪与工具使用分析。可以把整个工具调用包在track_api_call中得到独立的成功率与响应时间统计。4. 异步 Agent 监控04_async_agent_monitoring.py针对异步工作流异步函数执行计时、并发任务性能、异步 API 调用追踪与并行操作分析。由于PerformanceMonitor内部使用threading.RLock保护共享数据结构并在线程维度记录thread_id与call_id格式为{name}_{thread_id}_{start_time}并发场景下统计依然线程安全。5. 错误处理监控05_error_handling_monitoring.py演示错误场景下的性能观测错误率追踪、失败操作计时、恢复机制性能、带监控的异常处理。从实现上看monitor_function包装函数在except分支捕获异常后仍会进入finally记录执行时间并将successFalse、error信息写入统计见 performance_monitor.py因此异常路径的耗时同样可观测。6. 记忆 Agent 监控06_memory_agent_monitoring.py针对有状态statefulAgent记忆存取计时、知识库操作、会话持久化性能、记忆检索优化。适合排查 RAG/记忆链路中的性能瓶颈。7. 层级 Agent 监控07_hierarchical_agents_monitoring.py监控 Manager-Worker 组织架构经理与工人 Agent 的关系、任务委派耗时、层级决策性能、跨层级通信。通过在不同层级函数上分别加monitor_function即可量化每层决策的开销。8. 自定义工具监控08_custom_tools_monitoring.py针对自建工具自定义工具执行计时、工具创建与注册性能、工具使用模式分析、工具效率优化。9. 流式监控09_streaming_monitoring.py面向实时/流式操作实时性能追踪、流式响应监控、实时性能指标、持续性能分析。典型模式来自原文档“实时监控模式”while streaming_active: with track_api_call(stream_message): process_message() # 实时检查性能 current_stats performance_monitor.get_function_performance()10. 综合仪表盘10_comprehensive_dashboard.py完整的监控解决方案一次性演示全部高级 API。从源码看见 10_comprehensive_dashboard.py它会构造多种角色 Agent快速问答、分析、研究、创意对 5 类测试场景逐一执行并采集数据最终调用get_slowest_functions、get_slowest_apis、analyze_function_flow、visualize_execution_flow、analyze_performance_trends、generate_comprehensive_report输出系统级监控概览与健康评分。五、三种常用监控模式基础监控模式monitor_function(function_name) def your_function(): # Function implementation pass with track_api_call(api_operation): result some_api_call()性能分析模式# 运行完被监控操作后 stats get_function_stats() report get_performance_report() trends analyze_performance_trends()实时监控模式while streaming_active: with track_api_call(stream_message): process_message() current_stats performance_monitor.get_function_performance()六、底层实现原理PerformanceMonitor的数据结构PerformanceMonitor类performance_monitor.py内部用defaultdict维护两类统计_function_stats每个函数维护call_count、total_time、min_time、max_time、recent_timesdeque(maxlen100)滑动窗口记录最近 100 次耗时、error_count、last_called_api_calls每次 API 调用维护call_count、total_time、min_time、max_time、success_count、error_count、recent_callsdeque(maxlen50)。执行流则记录在_function_flowdeque(maxlen10000)默认上限max_entries10000中每条记录包含函数名、时间戳、事件类型start/end、线程 ID结束时附带duration与success。这些滑动窗口与统计字段直接支撑了报告里的平均值、最值和趋势分析。track_api_call上下文管理器track_api_call(api_name, endpointNone)允许额外传入具体端点如/v1/chat/completions便于区分同一服务商的不同接口with performance_monitor.track_api_call(openai, /v1/chat/completions): response openai_client.chat.completions.create(...)七、示例输出与性能洞察每个示例都会输出类似如下的详细性能报告来自原文档 PERFORMANCE MONITORING RESULTS Function Performance Statistics: question_processing: Calls: 1 Avg Time: 0.100s Total Time: 0.100s agent_execution: Calls: 1 Avg Time: 1.250s Total Time: 1.250s API Call Performance: sky_explanation_request: Success Rate: 100.0% Average Response Time: 1.200s Total Calls: 1利用这些数据可以回答五类性能问题响应时间Agent 响应有多快瓶颈工作流中延迟发生在哪个环节错误模式什么在失败、失败频率如何资源使用不同操作的效率差异扩展行为性能如何随负载变化。八、最佳实践战略性监控不要监控一切聚焦关键路径如用户请求入口、外部 LLM 调用、工具执行建立性能基线为对比设定基准指标先跑一次“正常负载”作为对照错误与性能并行观测监控错误率的同时监控性能二者往往互为因果生产系统用实时分析对生产环境采用流式监控便于第一时间感知劣化定期回顾周期性分析趋势与模式识别渐进式退化。九、自定义与扩展自定义指标添加自己的性能计数器可基于performance_monitor实例扩展统计逻辑告警阈值为性能劣化设置告警数据导出通过export_external_apm_metrics()将性能数据导出到 DataDog、New Relic 等外部 APM 系统仪表盘集成基于监控 API 构建自定义仪表盘参考 10_comprehensive_dashboard.py 的组织方式。十、进一步阅读性能监控模块完整文档src/praisonai-agents/praisonaiagents/telemetry/README.md模块 API 入口src/praisonai-agents/praisonaiagents/telemetry/init.py监控实现源码src/praisonai-agents/praisonaiagents/telemetry/performance_monitor.py分析与可视化工具src/praisonai-agents/praisonaiagents/telemetry/performance_utils.pyCLI 工具src/praisonai-agents/praisonaiagents/telemetry/performance_cli.py10 个示例代码目录examples/python/monitoring注意性能监控是可选的可通过设置PRAISONAI_TELEMETRY_DISABLEDtrue随时关闭被监控的异常同样会被记录成功/失败与耗时一并入库因此不要因为担心异常而放弃监控关键路径。【免费下载链接】PraisonAIPraisonAI — Hire a 24/7 AI Workforce. Stop writing boilerplate and start shipping autonomous self-improving agents that research, plan, code, and execute tasks. Deployed in 5 lines of code with built-in memory, RAG, and support for 100 LLMs.项目地址: https://gitcode.com/GitHub_Trending/pr/PraisonAI创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考