generative-ai-for-beginners 课程第 14 课掌握生成式 AI 应用生命周期LLMOps——从 MLOps 范式转变到评估指标、工作流与工具链【免费下载链接】generative-ai-for-beginners21 Lessons, Get Started Building with Generative AI项目地址: https://gitcode.com/GitHub_Trending/ge/generative-ai-for-beginners生成式 AI 是一个快速演化的领域仅完成一次开发和部署远不足以让应用长期保持相关、可靠和健壮。本文基于 generative-ai-for-beginners 课程 第 14 课文档系统讲解生成式 AI 应用生命周期LLMOps理解从 MLOps 到 LLMOps 的范式转变、掌握“构思—构建—运营”三大阶段的工作流、熟悉 Quality / Harm / Honesty / Cost / Latency 五维评估指标以及配套的 LLMOps 工具链最终帮助读者为自己的 LLM 应用建立一套可持续监控、评估与改进的运维方法论。为什么需要生成式 AI 应用生命周期原文档开篇提出了一个对每个 AI 应用都至关重要的问题AI 能力的相关性relevance如何长期保持由于 AI 技术演进极快模型会迭代、用户预期会变化、成本与合规约束也会调整因此要确保应用始终保持相关、可靠和健壮就必须持续地监控monitor、评估evaluate和持续改进improve应用。这正是生成式 AI 生命周期generative AI lifecycle要解决的问题。原文档对生成式 AI 生命周期给出了明确的框架定义它是一个指导框架覆盖生成式 AI 应用的**开发developing、部署deploying和维护maintaining**全过程它帮助你定义目标、度量性能、识别挑战、实施解决方案它还帮助你将应用与所在领域及利益相关方的伦理与法律标准对齐遵循该生命周期可以确保应用持续交付价值并满足用户需求。学习目标按原文档 Introduction 一节学完本课题材后读者应当能够理解从 MLOps 到 LLMOps 的范式转变Paradigm Shift掌握 LLM 生命周期LLM Lifecycle的完整结构与各环节含义了解生命周期工具链Lifecycle Tooling的实际组成掌握生命周期的度量化与评估方式Lifecycle Metrification and Evaluation。理解从 MLOps 到 LLMOps 的范式转变LLM 是人工智能工具箱中的新工具在分析类与生成类任务上它极为强大但这种能力也直接改变了我们组织 AI 应用与经典机器学习任务的方式——原有的工作流和激励机制不再完全适配。原文档给出的观点是我们引入一个“新范式”new Paradigm来动态地适配这一工具并以当时主流的技术和技巧为界把较早的 AI 应用归为 “ML Apps”把较新的 AI 应用归为 “GenAI Apps”或统称 “AI Apps”。这种重新分类会从多个方面改变团队的叙事与关注点原文档配有一张 LLMOps 与 MLOps 的对比图对比图传递出的核心信息是在 LLMOps 中工作重心更加偏向应用开发者App Developers以**集成integrations**为关键点采用“Models-as-a-Service模型即服务”的方式获取模型能力并在指标上关注以下五个维度原文档原文列举指标原文定义课程上下文中的落地含义Quality质量响应质量Response quality模型输出对用户请求的准确性与相关性可结合提示词工程、RAG 或微调逐步提升参见课程 第 4 课提示词工程 与 第 18 课微调Harm危害负责任 AIResponsible AI输出是否公平、无有害内容与课程 第 3 课负责任使用生成式 AI 中讨论的幻觉、有害内容等风险直接对应Honesty诚实响应 groundedness——回答是否讲得通、是否正确即“接地性/有据可依”可通过检索增强生成第 15 课 RAG 与向量数据库让回答基于真实检索到的数据Cost成本解决方案预算Solution BudgetLLM 推理按 token 计费成本是架构选型与提示词设计的硬约束Latency延迟平均 token 响应时间Avg. time for token response面向交互型应用如聊天、辅导场景平均 token 响应时间决定用户体验与经典 MLOps 主要围绕模型训练流水线数据、训练、评估、部署、监控打转不同LLMOps 把“应用体验的五维指标”提到了一级地位——因为模型往往是“拿来即用”的云服务应用层的提示词、检索、集成与运维才是可控变量。LLM 生命周期全景与 MLOps 有什么不同原文档先用一张 LLMOps 信息图勾勒完整生命周期再逐段解读原文档明确指出这个生命周期与 MLOps 的常规生命周期不同因为 LLM 带来了一系列新需求Prompting提示词工程提示词成为对模型的主要“编程接口”是独立于模型训练之外的关键工程对象提升质量的不同技术手段Fine-Tuning微调、RAG检索增强生成、Meta-Prompts元提示词等构成了 MLOps 时代不存在的一组“应用侧增强技术”不同的评估与责任方式负责任 AIresponsible AI成为评估环节的一等公民新的评估指标即上一节列出的 Quality、Harm、Honesty、Cost、Latency 五维指标。原文档接着举了一个具体例子说明“构思ideate”阶段在探索期团队会使用提示词工程对多种 LLM 进行实验探索可能性验证某个业务假设Hypothesis是否成立。这正对应课程前几课反复出现的“沙箱实验”思路例如 第 4 课提示词工程基础 中提供的 Jupyter Notebook 沙箱环境让开发者在真实端点上以“试错”方式打磨提示词与模型选择。原文档特别强调的一点是这个过程不是线性的not linear而是相互集成的循环integrated loops——迭代式推进并被一个更大的总周期overarching cycle所笼罩。换句话说评估不达标时可以从任何环节回退重做而整体的管理management循环始终在顶层监督安全、合规与治理。三大核心阶段工作流详解原文档给出了一张 LLMOps 工作流图随后建议读者“先抓住三大步骤”阶段一构思与探索Ideating / Exploring做什么根据业务需求进行探索explore according to business needs。原型验证创建一个PromptFlow原型PromptFlow 是微软开源的提示词工作流工具测试它对当前业务假设是否足够高效efficient enough for our Hypothesis。课程对应实践这一阶段最直接的落地方式就是课程 第 4 课 和 第 5 课高级提示词 中演示的提示词实验——在 Azure OpenAI / OpenAI 端点上快速切换模型、调整提示词结构验证假设是否成立。阶段二构建与增强Building / Augmenting做什么进入实现Implementation开始在更大的数据集上评估方案并实施提升技术implement techniques。关键技术原文档点名的两个方向是Fine-tuning微调与RAG检索增强生成用于检验解决方案的健壮性robustness。这正好对应课程的 第 18 课 LLM 微调——通过为特定任务/领域准备精选样例重训模型以及 第 15 课 RAG 与向量数据库——把自有数据经嵌入检索注入上下文。不达标怎么办原文档给出明确的回退策略——如果健壮性不足可以重新实现re-implementing、在流程中新增步骤adding new steps in our flow、或重构数据restructuring the data这些都可能帮助方案过关。出口准则完成对流程与规模scale的测试并核对各项指标check our Metrics确认达标后进入下一阶段。阶段三运营化Operationalizing做什么进入集成Integration——为系统加上监控Monitoring与告警系统Alerts Systems完成部署deployment并做**应用集成application integration**到正式产品中。至此原文档的结语是“Congratulations, now you have your AI App ready to go and operational.”恭喜你的 AI 应用已准备就绪并可投入运营。总循环管理Management三大阶段之上还有一个笼罩整体的管理循环原文档将其职责概括为三件事安全security、合规compliance和治理governance。从课程整体结构看这一循环在 第 13 课“保护你的生成式 AI 应用” 中有专门展开数据投毒data poisoning、提示注入prompt injection、供应链漏洞supply chain vulnerabilities、过度依赖overreliance等风险以及面向 AI 系统的对抗性威胁知识库与 LLM 应用漏洞清单都属于这个管理循环要持续盯防的对象。生命周期工具链Lifecycle Tooling原文档 Tooling 一节给出了微软生态下支撑 LLMOps 循环的工具组合并强调这些工具能让整个生命周期“易于实施并即刻可用easy to implement and ready to go”Azure AI PlatformAzure AI Platform允许你使用Microsoft Foundry服务。原文档对 Microsoft Foundry 的定义是Microsoft Foundryformerly Azure AI Studio即前身为 Azure AI Studio是一个 Web 门户你可以用它来探索模型、示例和工具管理你的资源并可以使用 UI 开发流也可以使用 SDK/CLI 选项进行 Code-First代码优先开发。此外Azure AI 允许你使用多种资源统一管理operations运维、services服务、projects项目、vector search向量检索和 databases数据库相关需求——这恰好覆盖了 LLMOps 工作流中“构建/增强”阶段对向量检索能力的依赖以及“运营化”阶段对资源与项目级管理的需求。PromptFlow从概念验证到大规模应用原文档指出PromptFlow可以让你从概念验证Proof-of-Concept, POC一路构建到大规模应用并给出三条核心能力Design and Build在VS Code中以可视化与功能化工具设计和构建应用Test and fine-tune轻松地对应用进行测试与微调以获得高质量的 AI 输出Integrate and Iterate借助 Microsoft Foundry 在云端进行集成与迭代通过Push推送和 Deploy部署实现快速集成。从原文档描述的分工来看工具链与三阶段工作流是一一对应的PromptFlow 主要服务“构思/探索”与“构建/增强”原型、测试、微调、推送部署Microsoft Foundry 门户则覆盖资源管理与从 UI 流到 SDK/CLI 的多种开发路径而 Azure AI Platform 的多资源管理能力支撑“运营化”阶段的监控与运维诉求。把生命周期落到一个真实演示上原文档在讲解完工具后建议读者通过Contoso Chat Demo微软云布道团队公开的演示站点获得一次 hands-on上手式体验观察云布道团队如何在演示中落地这些生命周期概念同时课程推荐继续观看 Ignite 上的 breakout session 获取更多内容。需要注意的是这些是原文档指向的外部演示与视频资源本文不附外部链接读者可以按名称自行检索。小结与后续学习本课题材的要点可以浓缩为一句话生成式 AI 应用不是一次性交付物而是一个以“五维指标Quality / Harm / Honesty / Cost / Latency”为标尺、以“构思—构建—运营”三阶段为主体、被安全合规治理总循环笼罩的持续迭代系统。掌握它之后你可以在选型期用提示词工程 PromptFlow 原型验证业务假设在实现期用 RAG、微调等手段提升健壮性并用统一的指标口径决定是否达标在运营期用监控、告警与治理循环守住质量、安全与成本底线。按原文档的“Great! Continue your Learning!”一节下一步建议进入课程第 15 课Retrieval Augmented GenerationRAG与向量数据库参见 15-rag-and-vector-databases/README.md理解 RAG 与向量数据库如何影响生成式 AI、并帮助构建更有吸引力的应用——这正是“构建/增强”阶段最核心的技术之一。【免费下载链接】generative-ai-for-beginners21 Lessons, Get Started Building with Generative AI项目地址: https://gitcode.com/GitHub_Trending/ge/generative-ai-for-beginners创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 generative-ai-for-beginners 课程第 14 课：掌握生成式 AI 应用生命周期（LLMOps）——从 MLOps 范式转变到评估指标、工作流与工具链
generative-ai-for-beginners 课程第 14 课掌握生成式 AI 应用生命周期LLMOps——从 MLOps 范式转变到评估指标、工作流与工具链【免费下载链接】generative-ai-for-beginners21 Lessons, Get Started Building with Generative AI项目地址: https://gitcode.com/GitHub_Trending/ge/generative-ai-for-beginners生成式 AI 是一个快速演化的领域仅完成一次开发和部署远不足以让应用长期保持相关、可靠和健壮。本文基于 generative-ai-for-beginners 课程 第 14 课文档系统讲解生成式 AI 应用生命周期LLMOps理解从 MLOps 到 LLMOps 的范式转变、掌握“构思—构建—运营”三大阶段的工作流、熟悉 Quality / Harm / Honesty / Cost / Latency 五维评估指标以及配套的 LLMOps 工具链最终帮助读者为自己的 LLM 应用建立一套可持续监控、评估与改进的运维方法论。为什么需要生成式 AI 应用生命周期原文档开篇提出了一个对每个 AI 应用都至关重要的问题AI 能力的相关性relevance如何长期保持由于 AI 技术演进极快模型会迭代、用户预期会变化、成本与合规约束也会调整因此要确保应用始终保持相关、可靠和健壮就必须持续地监控monitor、评估evaluate和持续改进improve应用。这正是生成式 AI 生命周期generative AI lifecycle要解决的问题。原文档对生成式 AI 生命周期给出了明确的框架定义它是一个指导框架覆盖生成式 AI 应用的**开发developing、部署deploying和维护maintaining**全过程它帮助你定义目标、度量性能、识别挑战、实施解决方案它还帮助你将应用与所在领域及利益相关方的伦理与法律标准对齐遵循该生命周期可以确保应用持续交付价值并满足用户需求。学习目标按原文档 Introduction 一节学完本课题材后读者应当能够理解从 MLOps 到 LLMOps 的范式转变Paradigm Shift掌握 LLM 生命周期LLM Lifecycle的完整结构与各环节含义了解生命周期工具链Lifecycle Tooling的实际组成掌握生命周期的度量化与评估方式Lifecycle Metrification and Evaluation。理解从 MLOps 到 LLMOps 的范式转变LLM 是人工智能工具箱中的新工具在分析类与生成类任务上它极为强大但这种能力也直接改变了我们组织 AI 应用与经典机器学习任务的方式——原有的工作流和激励机制不再完全适配。原文档给出的观点是我们引入一个“新范式”new Paradigm来动态地适配这一工具并以当时主流的技术和技巧为界把较早的 AI 应用归为 “ML Apps”把较新的 AI 应用归为 “GenAI Apps”或统称 “AI Apps”。这种重新分类会从多个方面改变团队的叙事与关注点原文档配有一张 LLMOps 与 MLOps 的对比图对比图传递出的核心信息是在 LLMOps 中工作重心更加偏向应用开发者App Developers以**集成integrations**为关键点采用“Models-as-a-Service模型即服务”的方式获取模型能力并在指标上关注以下五个维度原文档原文列举指标原文定义课程上下文中的落地含义Quality质量响应质量Response quality模型输出对用户请求的准确性与相关性可结合提示词工程、RAG 或微调逐步提升参见课程 第 4 课提示词工程 与 第 18 课微调Harm危害负责任 AIResponsible AI输出是否公平、无有害内容与课程 第 3 课负责任使用生成式 AI 中讨论的幻觉、有害内容等风险直接对应Honesty诚实响应 groundedness——回答是否讲得通、是否正确即“接地性/有据可依”可通过检索增强生成第 15 课 RAG 与向量数据库让回答基于真实检索到的数据Cost成本解决方案预算Solution BudgetLLM 推理按 token 计费成本是架构选型与提示词设计的硬约束Latency延迟平均 token 响应时间Avg. time for token response面向交互型应用如聊天、辅导场景平均 token 响应时间决定用户体验与经典 MLOps 主要围绕模型训练流水线数据、训练、评估、部署、监控打转不同LLMOps 把“应用体验的五维指标”提到了一级地位——因为模型往往是“拿来即用”的云服务应用层的提示词、检索、集成与运维才是可控变量。LLM 生命周期全景与 MLOps 有什么不同原文档先用一张 LLMOps 信息图勾勒完整生命周期再逐段解读原文档明确指出这个生命周期与 MLOps 的常规生命周期不同因为 LLM 带来了一系列新需求Prompting提示词工程提示词成为对模型的主要“编程接口”是独立于模型训练之外的关键工程对象提升质量的不同技术手段Fine-Tuning微调、RAG检索增强生成、Meta-Prompts元提示词等构成了 MLOps 时代不存在的一组“应用侧增强技术”不同的评估与责任方式负责任 AIresponsible AI成为评估环节的一等公民新的评估指标即上一节列出的 Quality、Harm、Honesty、Cost、Latency 五维指标。原文档接着举了一个具体例子说明“构思ideate”阶段在探索期团队会使用提示词工程对多种 LLM 进行实验探索可能性验证某个业务假设Hypothesis是否成立。这正对应课程前几课反复出现的“沙箱实验”思路例如 第 4 课提示词工程基础 中提供的 Jupyter Notebook 沙箱环境让开发者在真实端点上以“试错”方式打磨提示词与模型选择。原文档特别强调的一点是这个过程不是线性的not linear而是相互集成的循环integrated loops——迭代式推进并被一个更大的总周期overarching cycle所笼罩。换句话说评估不达标时可以从任何环节回退重做而整体的管理management循环始终在顶层监督安全、合规与治理。三大核心阶段工作流详解原文档给出了一张 LLMOps 工作流图随后建议读者“先抓住三大步骤”阶段一构思与探索Ideating / Exploring做什么根据业务需求进行探索explore according to business needs。原型验证创建一个PromptFlow原型PromptFlow 是微软开源的提示词工作流工具测试它对当前业务假设是否足够高效efficient enough for our Hypothesis。课程对应实践这一阶段最直接的落地方式就是课程 第 4 课 和 第 5 课高级提示词 中演示的提示词实验——在 Azure OpenAI / OpenAI 端点上快速切换模型、调整提示词结构验证假设是否成立。阶段二构建与增强Building / Augmenting做什么进入实现Implementation开始在更大的数据集上评估方案并实施提升技术implement techniques。关键技术原文档点名的两个方向是Fine-tuning微调与RAG检索增强生成用于检验解决方案的健壮性robustness。这正好对应课程的 第 18 课 LLM 微调——通过为特定任务/领域准备精选样例重训模型以及 第 15 课 RAG 与向量数据库——把自有数据经嵌入检索注入上下文。不达标怎么办原文档给出明确的回退策略——如果健壮性不足可以重新实现re-implementing、在流程中新增步骤adding new steps in our flow、或重构数据restructuring the data这些都可能帮助方案过关。出口准则完成对流程与规模scale的测试并核对各项指标check our Metrics确认达标后进入下一阶段。阶段三运营化Operationalizing做什么进入集成Integration——为系统加上监控Monitoring与告警系统Alerts Systems完成部署deployment并做**应用集成application integration**到正式产品中。至此原文档的结语是“Congratulations, now you have your AI App ready to go and operational.”恭喜你的 AI 应用已准备就绪并可投入运营。总循环管理Management三大阶段之上还有一个笼罩整体的管理循环原文档将其职责概括为三件事安全security、合规compliance和治理governance。从课程整体结构看这一循环在 第 13 课“保护你的生成式 AI 应用” 中有专门展开数据投毒data poisoning、提示注入prompt injection、供应链漏洞supply chain vulnerabilities、过度依赖overreliance等风险以及面向 AI 系统的对抗性威胁知识库与 LLM 应用漏洞清单都属于这个管理循环要持续盯防的对象。生命周期工具链Lifecycle Tooling原文档 Tooling 一节给出了微软生态下支撑 LLMOps 循环的工具组合并强调这些工具能让整个生命周期“易于实施并即刻可用easy to implement and ready to go”Azure AI PlatformAzure AI Platform允许你使用Microsoft Foundry服务。原文档对 Microsoft Foundry 的定义是Microsoft Foundryformerly Azure AI Studio即前身为 Azure AI Studio是一个 Web 门户你可以用它来探索模型、示例和工具管理你的资源并可以使用 UI 开发流也可以使用 SDK/CLI 选项进行 Code-First代码优先开发。此外Azure AI 允许你使用多种资源统一管理operations运维、services服务、projects项目、vector search向量检索和 databases数据库相关需求——这恰好覆盖了 LLMOps 工作流中“构建/增强”阶段对向量检索能力的依赖以及“运营化”阶段对资源与项目级管理的需求。PromptFlow从概念验证到大规模应用原文档指出PromptFlow可以让你从概念验证Proof-of-Concept, POC一路构建到大规模应用并给出三条核心能力Design and Build在VS Code中以可视化与功能化工具设计和构建应用Test and fine-tune轻松地对应用进行测试与微调以获得高质量的 AI 输出Integrate and Iterate借助 Microsoft Foundry 在云端进行集成与迭代通过Push推送和 Deploy部署实现快速集成。从原文档描述的分工来看工具链与三阶段工作流是一一对应的PromptFlow 主要服务“构思/探索”与“构建/增强”原型、测试、微调、推送部署Microsoft Foundry 门户则覆盖资源管理与从 UI 流到 SDK/CLI 的多种开发路径而 Azure AI Platform 的多资源管理能力支撑“运营化”阶段的监控与运维诉求。把生命周期落到一个真实演示上原文档在讲解完工具后建议读者通过Contoso Chat Demo微软云布道团队公开的演示站点获得一次 hands-on上手式体验观察云布道团队如何在演示中落地这些生命周期概念同时课程推荐继续观看 Ignite 上的 breakout session 获取更多内容。需要注意的是这些是原文档指向的外部演示与视频资源本文不附外部链接读者可以按名称自行检索。小结与后续学习本课题材的要点可以浓缩为一句话生成式 AI 应用不是一次性交付物而是一个以“五维指标Quality / Harm / Honesty / Cost / Latency”为标尺、以“构思—构建—运营”三阶段为主体、被安全合规治理总循环笼罩的持续迭代系统。掌握它之后你可以在选型期用提示词工程 PromptFlow 原型验证业务假设在实现期用 RAG、微调等手段提升健壮性并用统一的指标口径决定是否达标在运营期用监控、告警与治理循环守住质量、安全与成本底线。按原文档的“Great! Continue your Learning!”一节下一步建议进入课程第 15 课Retrieval Augmented GenerationRAG与向量数据库参见 15-rag-and-vector-databases/README.md理解 RAG 与向量数据库如何影响生成式 AI、并帮助构建更有吸引力的应用——这正是“构建/增强”阶段最核心的技术之一。【免费下载链接】generative-ai-for-beginners21 Lessons, Get Started Building with Generative AI项目地址: https://gitcode.com/GitHub_Trending/ge/generative-ai-for-beginners创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考