3. 迈向工程化应用 | AI落地解决方案和业务流设计
输入“/”快速插入内容
3. 迈向工程化应用 | AI落地解决方案和业务流设计
3. 迈向工程化应用 | AI落地解决方案和业务流设计
用户6100用户6100
用户8254用户82542025年1月10日修改
•
作者：蓝衣剑客，云中江树
•
文章状态：持续更新中
一、前言
虽然目前网络上关于提示工程的相关资料已经多如牛毛，然而 RAG (检索增强生成) 任务中提示工程如何进行的资料相对而言却较少。不少朋友之前也热烈的讨论过 RAG 场景下提示词的运用，因此 LangGPT 社区特别推出 RAG 任务下的提示词实践经验系列分享。
蓝衣剑客(微信 lanyijianke1992)是 LangGPT 社区核心成员，清华大学数据治理研究中心主任助理，曾经参与生成式人工智能行业应用合规标准起草，作为企业技术负责人主导参与了多个大模型实际应用场景下的落地工作，在 RAG 相关领域有着大量的实践经验。云中江树(微信 1796060717)是 LangGPT 提示词社区的主理人，结构化提示词提出者。蓝衣剑客负责本文主要内容的撰写，江树负责本文内容框架的整体设计和质量把控。
欢迎访问 LangGPT 提示词社区 ⭐LangGPT 结构化提示词
欢迎添加作者微信交流:
蓝衣剑客(微信 lanyijianke1992)
云中江树(微信 1796060717)
二、为何工程化？何以工程化？
2.1 大模型在实际应用中落地，永远是解决方案优先
随着大型模型在多个领域的应用日益广泛，我们可以观察到一个共同点：在实际落地的架构中，大型模型通常位于基础层。这一现象表明，在大型模型的实际部署中，并非以模型本身为首要考量，而是更注重模型之上构建的应用。这些应用能够切实解决服务对象面临的实际问题，从而赋予模型真正的价值。
因此，我们可以得出一个重要结论：在方案的具体实施过程中，我们应优先考虑解决方案，而非仅仅关注模型本身。
2.2 产品形态变了
根据当前市场状况和之前的分析，我们明白了在企业中真正实施的模型解决方案主要集中在应用层面。这些解决方案利用模型的强大功能，发展出多种“模型应用”。有趣的是，尽管大型模型本质上是一个综合体，人们还是习惯于从逻辑上对其进行分类和定义。我们常说寻找应用场景，实际上是在为大型模型的能力寻找适当的逻辑划分，即明确它们在特定领域或范围内的具体应用方向。因此，我们会针对特定需求设定模型的功能，并进行有目标的开发。
📌
基于大模型的产品（确切来说是大型语言模型），都是“简约但不简单”。
2.3 开发范式变了，开发人员也变了
开发方式的变化，这种变化是由产品形态的改变所驱动的。我们现在更加集中于模型应用的设计，同时，设计和开发流程、标的也随之发生了变化（这些内容我们将会在下面进行详细介绍）。从管理的角度来看，项目组内的成员构成也相应地发生了变化。
具体的变化表现在哪些方面呢？由于我们将不断实施这类项目或产品，从定制化的角度来看，提示词的定制化是最明显的。因为每个用户的实际企业环境和应用场景都有所不同，即使是相似的应用场景也可能存在细微的差别，这都需要我们对提示词进行调整。这也解释了为什么需要提示词工程师的职位，从长远来看（哪怕是从当下的工作量和工作时间来看），提示词工程师这一职位是有必要的。尽管编写提示词的门槛相对较低（可以用母语进行编写），但这也意味着对人员素质的要求实际上提高了，因为要求人对语义的理解进一步增强了，有时候还需有全局视角和高情商，这是一个目前非常突出的现象。
2.4 不做工程化，后期难以为继
从目前的经验来看，团队在实施大型模型项目后往往会发现，真正的挑战并不仅仅出现在项目的初期实施阶段，更多的难点其实在于之后的运营和持续优化阶段。
这是因为业务环境、市场条件和用户需求都在不断变化（如果你的产品是toC方向的话，应该更有体会）。一旦产品进入应用阶段，为了适应这些变化，就需要根据新的业务需求进行调整和优化。此外，随着技术进步和新模型版本的推出，我们还必须考虑如何将新技术融入现有系统，并解决由此带来的各种挑战。
具体来说，这包括如何将新版本模型与现有提示词系统整合、如何持续提升服务质量、准确性及用户体验等问题。因此，在一个项目真正上线或开始运营后，其实是进入了一个需要长期投入和维护的运营阶段。这个阶段要求我们持续关注并付出努力，以确保项目能够长期稳定地运行并满足用户需求。
在运营阶段，我们需要关注的关键任务和能力主要包括以下几点：
1.
快速反应能力：能够迅速对模型更新、业务需求变化或市场反馈做出响应。
2.
生命周期管理：确保对智能应用的开发、迭代到退役的整个生命周期进行有效管理。
3.
持续扩展与集成：随着业务发展和企业转型，不断扩展应用功能，并能够与其他系统进行集成和对接。
面对这些要求，在缺乏工程化方法和流程支撑下很难满足上述需求。因此，在大模型项目中尤其重要的是建立一套完善的开发、运维流程和响应机制，以便有效地管理大模型产品的生命周期，并适应快速变化的市场环境。
❓
因此，我们需要反思：如果不实施工程化管理，我们的项目还能算是成功的吗？
三、迈向工程化的第一步——RAG框架的选择
到目前为止，我们一直利用Prompt Layer平台对提示词进行验证和迭代工作。然而，在实际的工作场景中，我们并不会局限于仅使用像Prompt Layer这样专门针对提示词优化的平台。相反，我们会采用更广泛的工具和框架进行大模型项目的开发。在实际项目中，我们会使用工程化框架，为开发提供必要的支持。
随着我们向工程化的第一步迈进，我们将逐步转变思路，不再仅仅局限于提示词角度的建设和优化，而是更加从实际项目角度入手去考虑工程化建设。这意味着我们将转变我们要采用更全面的工具和方法，以确保能够满足实际业务需求，提供真正的价值。
下面，我们就介绍几种常用的RAG框架，供大家参考。
3.1 LangChain
LangChain是一个为简化大模型应用开发而设计的开源框架。它通过提供一套模块化的工具和库，允许开发者轻松地集成和操作多种大模型，从而将更多的精力投入到创造应用的核心价值上。LangChain的设计注重简化开发流程，支持广泛的模型，并且具备良好的可扩展性，以适应不断变化的业务需求。作为一个得到社区广泛支持的开源项目，LangChain拥有活跃的贡献者和持续的更新，同时提供了全面的文档和示例代码帮助新用户快速掌握。此外，LangChain在设计时也充分考虑了应用的安全性和用户数据的隐私保护，是一个多语言支持的灵活框架，适用于各种规模的项目和不同背景的开发者。