Haystack Llama Stack 集成指南LlamaStackChatGenerator 多推理后端统一接入实战【免费下载链接】haystackOpen-source AI orchestration framework for building context-engineered, production-ready LLM applications. Design modular pipelines and agent workflows with explicit control over retrieval, routing, memory, and generation. Built for scalable agents, RAG, multimodal applications, semantic search, and conversational systems.项目地址: https://gitcode.com/GitHub_Trending/ha/haystack本文以 Haystack 官方 Llama Stack 集成文档API 参考 与 组件指南为核心系统讲解如何通过LlamaStackChatGenerator接入运行在 Llama Stack Server 上的任意推理服务提供商Ollama、vLLM 及各类云厂商。读完本文你将掌握该组件的初始化参数、generation_kwargs生成参数、流式输出、工具调用Tool/Toolset配置、ChatMessage消息协议、序列化to_dict/from_dict并能把它独立运行或接入 Haystack Pipeline 构建完整 RAG 与 Agent 应用。Llama Stack 与 Haystack一次接入、多后端复用Llama Stack 提供了统一的应用构建模块与 API 抽象其 Server 层屏蔽了底层推理提供商的差异。LlamaStackChatGenerator包名llama-stack-haystack正是建立在这一抽象之上的 Haystack Chat Generator你只需写一份客户端代码就能在切换推理后端时保持调用方式不变。在 Haystack 体系中它的典型定位是项目说明在 Pipeline 中最常见的位置位于 ChatPromptBuilder 之后必填初始化变量model用于 chat completion 的模型名取值取决于 Llama Stack Server 所配置的推理提供商必填运行变量messages由ChatMessage对象组成的消息列表输出变量replies模型针对输入对话给出的候选回复列表安装包名llama-stack-haystack由于 Llama Stack 本身支持多种推理提供商如 Ollama、Together、vLLM 以及各类云服务切换后端时通常只需要更新model参数例如使用 Ollama 时modelollama/llama3.2:3b使用 vLLM 时modelmeta-llama/Llama-3.2-3B准备条件使用该集成前你需要一个正在运行的 Llama Stack Server本地或远程均可默认本地监听地址为http://localhost:8321/v1一个所选推理提供商已支持、且已在服务器上就绪的模型名。服务器就绪后先安装集成包pip install llama-stack-haystack初始化参数详解__init__官方 API 参考给出了完整的构造函数签名def __init__(*, model: str, api_base_url: str http://localhost:8321/v1, organization: str | None None, streaming_callback: StreamingCallbackT | None None, generation_kwargs: dict[str, Any] | None None, timeout: int | None None, tools: ToolsType | None None, tools_strict: bool False, max_retries: int | None None, http_client_kwargs: dict[str, Any] | None None)各参数说明如下参数默认值作用model必填用于 chat completion 的模型名取决于 Llama Stack Server 配置的推理提供商api_base_urlhttp://localhost:8321/v1Llama Stack API 的 Base URL未指定时默认使用本机 8321 端口organizationNone组织 IDstreaming_callbackNone流式回调函数每收到一个新 token 即被调用回调参数类型为StreamingChunkgeneration_kwargsNone透传给 Llama Stack 端点的其他生成参数详见下文timeout环境变量OPENAI_TIMEOUT或 30 秒客户端调用超时时间toolsNone供模型准备调用的 Tool 和/或 Toolset 对象列表也可传单个 Toolset每个 tool 需有唯一名称tools_strictFalse是否启用严格的工具调用 schema 遵循为True时模型严格按工具定义中parameters字段的 schema 输出但可能增加延迟max_retries环境变量OPENAI_MAX_RETRIES或 5遇到内部错误后重试联系推理端的最大次数http_client_kwargsNone配置自定义httpx.Client/httpx.AsyncClient的关键字参数字典generation_kwargs透传的生成参数generation_kwargs中的所有参数都会被直接发送到 Llama Stack 端点你可以在__init__或run方法中传入。文档明确支持的参数包括参数说明max_tokens输出文本的最大 token 数temperature采样温度。越高越“冒险”创意类应用可尝试 0.9答案明确的场景用 0argmax 采样top_p核采样nucleus sampling模型只考虑累积概率质量达top_p的 token如 0.1 表示只考虑概率质量前 10% 的 tokenstream是否流式返回部分进度。开启后 token 以>{replies: [ChatMessage(_content[TextContent(textNatural Language Processing (NLP) is a branch of artificial intelligence that focuses on enabling computers to understand, interpret, and generate human language in a way that is meaningful and useful.)], _roleChatRole.ASSISTANT: assistant, _nameNone, _meta{model: ollama/llama3.2:3b, index: 0, finish_reason: stop, usage: {prompt_tokens: 15, completion_tokens: 36, total_tokens: 51}})]}从该输出可以观察到replies是候选回复列表多候选时可通过生成参数控制数量每条回复携带所用模型名、结束原因finish_reason与 token 用量统计usage方便下游做用量监控与成本核算。独立使用最小示例与流式输出最小示例import os from haystack.dataclasses import ChatMessage from haystack_integrations.components.generators.llama_stack import ( LlamaStackChatGenerator, ) client LlamaStackChatGenerator(modelollama/llama3.2:3b) response client.run([ChatMessage.from_user(What are Agentic Pipelines? Be brief.)]) print(response[replies])流式输出Streaming组件支持将 LLM 产生的 token 直接以流的形式输出。只需向streaming_callback传入一个回调函数该函数接收StreamingChunk参数。官方提供了开箱即用的print_streaming_chunk定义于 haystack/components/generators/utils.py它会把工具调用元数据、工具结果与正文内容实时打印到标准输出import os from haystack.dataclasses import ChatMessage from haystack_integrations.components.generators.llama_stack import ( LlamaStackChatGenerator, ) from haystack.components.generators.utils import print_streaming_chunk client LlamaStackChatGenerator( modelollama/llama3.2:3b, streaming_callbackprint_streaming_chunk, ) response client.run([ChatMessage.from_user(What are Agentic Pipelines? Be brief.)]) print(response[replies])流式模式适合对话式 UI 的逐字渲染如需自定义可自行实现接收StreamingChunk的回调例如做增量解析、逐 token 计数或前端推送。在 Pipeline 中使用构建聊天问答链路将LlamaStackChatGenerator接入 Pipeline 的最常见方式是放在 ChatPromptBuilder 之后把模板渲染出的prompt连接到llm.messagesfrom haystack import Pipeline from haystack.components.builders import ChatPromptBuilder from haystack.dataclasses import ChatMessage from haystack_integrations.components.generators.llama_stack import ( LlamaStackChatGenerator, ) prompt_builder ChatPromptBuilder() llm LlamaStackChatGenerator(modelollama/llama3.2:3b) pipe Pipeline() pipe.add_component(builder, prompt_builder) pipe.add_component(llm, llm) pipe.connect(builder.prompt, llm.messages) messages [ ChatMessage.from_system(Give brief answers.), ChatMessage.from_user(Tell me about {{city}}), ] response pipe.run( data{builder: {template: messages, template_variables: {city: Berlin}}}, ) print(response)在这条链路里ChatPromptBuilder负责用template_variables渲染消息模板此处将{{city}}替换为Berlin生成的消息列表经连接边送入LlamaStackChatGenerator。模板变量机制让同一个组件可以复用于多城市、多主题的对话场景是构建 RAG 问答、Agent 工作流的通用骨架。工具调用Tool 与 Toolset 的灵活组合LlamaStackChatGenerator通过tools参数支持函数调用function calling其类型ToolsType定义于 haystack/tools/tool_types.py即Sequence[Tool | Toolset] | Toolset。这意味着三种组织方式Tool 对象列表把独立工具逐个传入单个 Toolset直接把整个工具集传入Tool 与 Toolset 混合列表将多个 Toolset 与独立 Tool 放进同一个列表。Tool定义于 haystack/tools/tool.py与Toolset定义于 haystack/tools/toolset.py的完整用法见 Tool 与 Toolset 文档。官方示例展示了这种混合配置from haystack.tools import Tool, Toolset from haystack_integrations.components.generators.llama_stack import ( LlamaStackChatGenerator, ) # Create individual tools weather_tool Tool( nameweather, descriptionGet weather info, parameters..., function... ) news_tool Tool( namenews, descriptionGet latest news, parameters..., function... ) # Group related tools into a toolset math_toolset Toolset([add_tool, subtract_tool, multiply_tool]) # Pass mixed tools and toolsets to the generator generator LlamaStackChatGenerator( modelollama/llama3.2:3b, tools[math_toolset, weather_tool, news_tool], # Mix of Toolset and Tool objects )配合tools_strictTrue可以让模型严格遵循工具定义中的参数 schema代价是延迟可能上升。这种“相关工具归组、独立工具单列”的组织方式特别适合将检索器、计算器、天气 API 等能力按领域划分后统一交给 Agent 编排。生成结果中的工具调用会以ChatMessage的 Tool call 形式返回可继续衔接ToolInvoker等组件闭环执行。序列化to_dict / from_dictLlamaStackChatGenerator支持 Haystack 标准的序列化协议便于将组件配置保存为 YAML/JSON 后跨环境复用to_dict() - dict[str, Any]将组件序列化为字典含类名、init 参数等注意run方法中传入的generation_kwargs与streaming_callback等运行时状态不会出现在序列化结果中因此反序列化后需要在run时重新提供。from_dict(cls, data: dict[str, Any]) - LlamaStackChatGenerator类方法从字典反序列化出组件实例可用于Pipeline.loads()或Pipeline.dumps()等场景。# 序列化 data generator.to_dict() # 反序列化 from haystack_integrations.components.generators.llama_stack import LlamaStackChatGenerator restored LlamaStackChatGenerator.from_dict(data)这使你可以把“模型名 API 地址 生成参数 工具集”整体固化为配置在测试环境与生产环境之间无缝迁移。常见问题与注意事项模型名取决于推理提供商model的写法与后端强绑定如ollama/llama3.2:3b与meta-llama/Llama-3.2-3B切换提供商只需换模型名其余代码不变。服务器必须先行组件本身不负责启动 Llama Stack Server运行任何示例前需先按官方文档启动服务器并确认模型可用默认地址为http://localhost:8321/v1。结构化输出的流式限制response_format搭配streamTrue时只能使用 JSON Schema不能使用 Pydantic 模型。环境变量回退timeout与max_retries未显式设置时会分别回退到OPENAI_TIMEOUT与OPENAI_MAX_RETRIES环境变量后者再回退到默认值 5。工具名唯一性传入的每个 tool 必须有唯一名称否则可能导致调用歧义。延伸阅读组件完整指南LlamaStackChatGenerator官方 API 参考Llama Stack 集成 API消息协议ChatMessage 文档 与 实现源码工具体系Tool、Toolset、类型定义流式回调工具print_streaming_chunk提示构建ChatPromptBuilder【免费下载链接】haystackOpen-source AI orchestration framework for building context-engineered, production-ready LLM applications. Design modular pipelines and agent workflows with explicit control over retrieval, routing, memory, and generation. Built for scalable agents, RAG, multimodal applications, semantic search, and conversational systems.项目地址: https://gitcode.com/GitHub_Trending/ha/haystack创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 Haystack Llama Stack 集成指南：LlamaStackChatGenerator 多推理后端统一接入实战
Haystack Llama Stack 集成指南LlamaStackChatGenerator 多推理后端统一接入实战【免费下载链接】haystackOpen-source AI orchestration framework for building context-engineered, production-ready LLM applications. Design modular pipelines and agent workflows with explicit control over retrieval, routing, memory, and generation. Built for scalable agents, RAG, multimodal applications, semantic search, and conversational systems.项目地址: https://gitcode.com/GitHub_Trending/ha/haystack本文以 Haystack 官方 Llama Stack 集成文档API 参考 与 组件指南为核心系统讲解如何通过LlamaStackChatGenerator接入运行在 Llama Stack Server 上的任意推理服务提供商Ollama、vLLM 及各类云厂商。读完本文你将掌握该组件的初始化参数、generation_kwargs生成参数、流式输出、工具调用Tool/Toolset配置、ChatMessage消息协议、序列化to_dict/from_dict并能把它独立运行或接入 Haystack Pipeline 构建完整 RAG 与 Agent 应用。Llama Stack 与 Haystack一次接入、多后端复用Llama Stack 提供了统一的应用构建模块与 API 抽象其 Server 层屏蔽了底层推理提供商的差异。LlamaStackChatGenerator包名llama-stack-haystack正是建立在这一抽象之上的 Haystack Chat Generator你只需写一份客户端代码就能在切换推理后端时保持调用方式不变。在 Haystack 体系中它的典型定位是项目说明在 Pipeline 中最常见的位置位于 ChatPromptBuilder 之后必填初始化变量model用于 chat completion 的模型名取值取决于 Llama Stack Server 所配置的推理提供商必填运行变量messages由ChatMessage对象组成的消息列表输出变量replies模型针对输入对话给出的候选回复列表安装包名llama-stack-haystack由于 Llama Stack 本身支持多种推理提供商如 Ollama、Together、vLLM 以及各类云服务切换后端时通常只需要更新model参数例如使用 Ollama 时modelollama/llama3.2:3b使用 vLLM 时modelmeta-llama/Llama-3.2-3B准备条件使用该集成前你需要一个正在运行的 Llama Stack Server本地或远程均可默认本地监听地址为http://localhost:8321/v1一个所选推理提供商已支持、且已在服务器上就绪的模型名。服务器就绪后先安装集成包pip install llama-stack-haystack初始化参数详解__init__官方 API 参考给出了完整的构造函数签名def __init__(*, model: str, api_base_url: str http://localhost:8321/v1, organization: str | None None, streaming_callback: StreamingCallbackT | None None, generation_kwargs: dict[str, Any] | None None, timeout: int | None None, tools: ToolsType | None None, tools_strict: bool False, max_retries: int | None None, http_client_kwargs: dict[str, Any] | None None)各参数说明如下参数默认值作用model必填用于 chat completion 的模型名取决于 Llama Stack Server 配置的推理提供商api_base_urlhttp://localhost:8321/v1Llama Stack API 的 Base URL未指定时默认使用本机 8321 端口organizationNone组织 IDstreaming_callbackNone流式回调函数每收到一个新 token 即被调用回调参数类型为StreamingChunkgeneration_kwargsNone透传给 Llama Stack 端点的其他生成参数详见下文timeout环境变量OPENAI_TIMEOUT或 30 秒客户端调用超时时间toolsNone供模型准备调用的 Tool 和/或 Toolset 对象列表也可传单个 Toolset每个 tool 需有唯一名称tools_strictFalse是否启用严格的工具调用 schema 遵循为True时模型严格按工具定义中parameters字段的 schema 输出但可能增加延迟max_retries环境变量OPENAI_MAX_RETRIES或 5遇到内部错误后重试联系推理端的最大次数http_client_kwargsNone配置自定义httpx.Client/httpx.AsyncClient的关键字参数字典generation_kwargs透传的生成参数generation_kwargs中的所有参数都会被直接发送到 Llama Stack 端点你可以在__init__或run方法中传入。文档明确支持的参数包括参数说明max_tokens输出文本的最大 token 数temperature采样温度。越高越“冒险”创意类应用可尝试 0.9答案明确的场景用 0argmax 采样top_p核采样nucleus sampling模型只考虑累积概率质量达top_p的 token如 0.1 表示只考虑概率质量前 10% 的 tokenstream是否流式返回部分进度。开启后 token 以>{replies: [ChatMessage(_content[TextContent(textNatural Language Processing (NLP) is a branch of artificial intelligence that focuses on enabling computers to understand, interpret, and generate human language in a way that is meaningful and useful.)], _roleChatRole.ASSISTANT: assistant, _nameNone, _meta{model: ollama/llama3.2:3b, index: 0, finish_reason: stop, usage: {prompt_tokens: 15, completion_tokens: 36, total_tokens: 51}})]}从该输出可以观察到replies是候选回复列表多候选时可通过生成参数控制数量每条回复携带所用模型名、结束原因finish_reason与 token 用量统计usage方便下游做用量监控与成本核算。独立使用最小示例与流式输出最小示例import os from haystack.dataclasses import ChatMessage from haystack_integrations.components.generators.llama_stack import ( LlamaStackChatGenerator, ) client LlamaStackChatGenerator(modelollama/llama3.2:3b) response client.run([ChatMessage.from_user(What are Agentic Pipelines? Be brief.)]) print(response[replies])流式输出Streaming组件支持将 LLM 产生的 token 直接以流的形式输出。只需向streaming_callback传入一个回调函数该函数接收StreamingChunk参数。官方提供了开箱即用的print_streaming_chunk定义于 haystack/components/generators/utils.py它会把工具调用元数据、工具结果与正文内容实时打印到标准输出import os from haystack.dataclasses import ChatMessage from haystack_integrations.components.generators.llama_stack import ( LlamaStackChatGenerator, ) from haystack.components.generators.utils import print_streaming_chunk client LlamaStackChatGenerator( modelollama/llama3.2:3b, streaming_callbackprint_streaming_chunk, ) response client.run([ChatMessage.from_user(What are Agentic Pipelines? Be brief.)]) print(response[replies])流式模式适合对话式 UI 的逐字渲染如需自定义可自行实现接收StreamingChunk的回调例如做增量解析、逐 token 计数或前端推送。在 Pipeline 中使用构建聊天问答链路将LlamaStackChatGenerator接入 Pipeline 的最常见方式是放在 ChatPromptBuilder 之后把模板渲染出的prompt连接到llm.messagesfrom haystack import Pipeline from haystack.components.builders import ChatPromptBuilder from haystack.dataclasses import ChatMessage from haystack_integrations.components.generators.llama_stack import ( LlamaStackChatGenerator, ) prompt_builder ChatPromptBuilder() llm LlamaStackChatGenerator(modelollama/llama3.2:3b) pipe Pipeline() pipe.add_component(builder, prompt_builder) pipe.add_component(llm, llm) pipe.connect(builder.prompt, llm.messages) messages [ ChatMessage.from_system(Give brief answers.), ChatMessage.from_user(Tell me about {{city}}), ] response pipe.run( data{builder: {template: messages, template_variables: {city: Berlin}}}, ) print(response)在这条链路里ChatPromptBuilder负责用template_variables渲染消息模板此处将{{city}}替换为Berlin生成的消息列表经连接边送入LlamaStackChatGenerator。模板变量机制让同一个组件可以复用于多城市、多主题的对话场景是构建 RAG 问答、Agent 工作流的通用骨架。工具调用Tool 与 Toolset 的灵活组合LlamaStackChatGenerator通过tools参数支持函数调用function calling其类型ToolsType定义于 haystack/tools/tool_types.py即Sequence[Tool | Toolset] | Toolset。这意味着三种组织方式Tool 对象列表把独立工具逐个传入单个 Toolset直接把整个工具集传入Tool 与 Toolset 混合列表将多个 Toolset 与独立 Tool 放进同一个列表。Tool定义于 haystack/tools/tool.py与Toolset定义于 haystack/tools/toolset.py的完整用法见 Tool 与 Toolset 文档。官方示例展示了这种混合配置from haystack.tools import Tool, Toolset from haystack_integrations.components.generators.llama_stack import ( LlamaStackChatGenerator, ) # Create individual tools weather_tool Tool( nameweather, descriptionGet weather info, parameters..., function... ) news_tool Tool( namenews, descriptionGet latest news, parameters..., function... ) # Group related tools into a toolset math_toolset Toolset([add_tool, subtract_tool, multiply_tool]) # Pass mixed tools and toolsets to the generator generator LlamaStackChatGenerator( modelollama/llama3.2:3b, tools[math_toolset, weather_tool, news_tool], # Mix of Toolset and Tool objects )配合tools_strictTrue可以让模型严格遵循工具定义中的参数 schema代价是延迟可能上升。这种“相关工具归组、独立工具单列”的组织方式特别适合将检索器、计算器、天气 API 等能力按领域划分后统一交给 Agent 编排。生成结果中的工具调用会以ChatMessage的 Tool call 形式返回可继续衔接ToolInvoker等组件闭环执行。序列化to_dict / from_dictLlamaStackChatGenerator支持 Haystack 标准的序列化协议便于将组件配置保存为 YAML/JSON 后跨环境复用to_dict() - dict[str, Any]将组件序列化为字典含类名、init 参数等注意run方法中传入的generation_kwargs与streaming_callback等运行时状态不会出现在序列化结果中因此反序列化后需要在run时重新提供。from_dict(cls, data: dict[str, Any]) - LlamaStackChatGenerator类方法从字典反序列化出组件实例可用于Pipeline.loads()或Pipeline.dumps()等场景。# 序列化 data generator.to_dict() # 反序列化 from haystack_integrations.components.generators.llama_stack import LlamaStackChatGenerator restored LlamaStackChatGenerator.from_dict(data)这使你可以把“模型名 API 地址 生成参数 工具集”整体固化为配置在测试环境与生产环境之间无缝迁移。常见问题与注意事项模型名取决于推理提供商model的写法与后端强绑定如ollama/llama3.2:3b与meta-llama/Llama-3.2-3B切换提供商只需换模型名其余代码不变。服务器必须先行组件本身不负责启动 Llama Stack Server运行任何示例前需先按官方文档启动服务器并确认模型可用默认地址为http://localhost:8321/v1。结构化输出的流式限制response_format搭配streamTrue时只能使用 JSON Schema不能使用 Pydantic 模型。环境变量回退timeout与max_retries未显式设置时会分别回退到OPENAI_TIMEOUT与OPENAI_MAX_RETRIES环境变量后者再回退到默认值 5。工具名唯一性传入的每个 tool 必须有唯一名称否则可能导致调用歧义。延伸阅读组件完整指南LlamaStackChatGenerator官方 API 参考Llama Stack 集成 API消息协议ChatMessage 文档 与 实现源码工具体系Tool、Toolset、类型定义流式回调工具print_streaming_chunk提示构建ChatPromptBuilder【免费下载链接】haystackOpen-source AI orchestration framework for building context-engineered, production-ready LLM applications. Design modular pipelines and agent workflows with explicit control over retrieval, routing, memory, and generation. Built for scalable agents, RAG, multimodal applications, semantic search, and conversational systems.项目地址: https://gitcode.com/GitHub_Trending/ha/haystack创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考