大语言模型（LLM）正在重塑软件开发的范式。随着 ChatGPT、Claude 等产品的广泛应用，如何将 LLM 有效地集成到生产系统中已成为工程师们面临的重要挑战。今天咱们基于 Maxime Labonne(Liquid AI 训练后优化负责人)开发的顶尖 LLM 工程课程，系统性地介绍从模型运行到生产部署的完整技术栈，让想了解并从事 LLM 工程的朋友们可以快速入门。

课程背景

这门广受欢迎的 LLM 课程由 Maxime Labonne 开发，课程完整地分为三个主要部分：

本文主要基于第三部分 The LLM Engineer 的核心内容，这也是最贴近生产实践的部分。值得一提的是，课程作者还与 Paul Iuzstin 合著了《LLM Engineer's Handbook》，为实践者提供了更深入的指导。同时，课程也提供了基于 HuggingChat 和 ChatGPT 的交互式学习助手，帮助学习者更好地掌握相关知识。

技术体系全景

整体架构设计

现代LLM应用采用分层架构设计，这种设计思路源于对系统复杂性的合理分解。在最底层，我们需要解决模型的运行和存储问题；中间层负责实现核心的业务功能；顶层则确保系统的性能和安全性。这种分层不仅使得系统各个组件的职责清晰，更为不同规模的应用提供了灵活的实现路径。

工程化挑战

在生产环境中部署LLM应用面临着独特的挑战。首要问题是模型部署的资源消耗，大型语言模型往往需要大量的计算资源和内存。其次是推理性能的优化需求，系统需要在有限的资源下提供快速响应。检索效果的准确性、系统响应的实时性，以及安全性与隐私保护，都需要在工程实践中认真考虑和解决。

核心技术模块解析

LLM运行基础层

1. 部署方案选择

在LLM部署方案的选择上，我们需要权衡多个因素。主流的API服务（如OpenAI和Anthropic）提供了便捷的使用方式。OpenAI的GPT-4模型支持128K tokens的上下文窗口，适合需要强大语言理解能力的应用场景。而Claude 2.1则提供了更大的上下文窗口（200K tokens），特别适合长文档处理和代码分析任务。

对于本地部署需求，llama.cpp提供了高效的解决方案。以下是一个优化配置示例：

2. 提示工程系统

提示工程是LLM应用开发的核心技能。零样本提示（Zero-shot Prompting）适用于模型本身具备任务解决能力的场景。通过精心设计的提示模板，我们可以引导模型生成所需的输出。例如，情感分析任务可以这样设计：

当任务较为复杂时，思维链（Chain-of-Thought）提示方法能够显著提升模型的推理能力。通过引导模型进行步骤化思考，我们可以得到更可靠的输出结果。

3. 结构化输出控制

在实际应用中，控制模型输出的格式至关重要。LMQL框架提供了优雅的解决方案，允许我们用声明式的方式指定输出结构：

向量存储与检索基础

1. 文档处理系统

文档处理是构建高质量检索系统的基础。递归文本分割器能够智能地处理文档结构，在保持语义完整性的同时实现合理的分块。关键在于合理设置分割参数并保留文档的结构信息：

此外，为文档块增加丰富的元数据信息可以显著提升检索效果。这包括文档来源、创建时间、页码、章节等结构化信息。

2. 嵌入模型技术

嵌入模型的选择需要在性能和效率之间取得平衡。OpenAI的text-embedding-ada-002模型提供了最好的效果，但成本较高。对于大多数应用场景，all-MiniLM-L6-v2模型可以提供很好的性能和效率平衡。

在实际应用中，批量处理和向量标准化是两个重要的优化方向：

3. 向量数据库技术

向量数据库的选择和优化直接影响检索系统的性能。以Milvus为例，其配置需要根据具体场景carefully调整。在生产环境中，索引类型的选择尤为重要。IVF_FLAT索引提供了查询速度和召回率的良好平衡：

在实际应用中，混合检索策略往往能够提供更好的效果。通过组合关键词搜索和向量检索，我们可以同时利用两种方式的优势。关键是要根据应用场景调整两种方式的权重，实现最佳的检索效果。

RAG 基础架构

检索增强生成（RAG）系统是现代LLM应用的核心架构。一个完善的RAG系统需要精心设计检索策略、上下文管理和响应生成三个关键环节。

1. 检索策略优化

传统的单查询检索往往难以获得理想的召回效果。多查询检索器（Multi-Query Retriever）通过重写原始查询来提升召回率。其核心思想是利用LLM生成多个语义相关但表达不同的查询变体：

HyDE（Hypothetical Document Embeddings）技术则提供了另一种创新的检索方式。它首先使用LLM生成假设性的理想文档，然后用这个文档的嵌入来检索真实文档，这种方法在特定场景下能显著提升检索质量。

2. 上下文注入技术

上下文窗口的有效管理是RAG系统性能的关键。动态上下文裁剪技术可以根据查询的具体情况调整注入的文档数量和长度：

3. 响应生成优化

生成高质量的响应需要合理构造系统提示。一个有效的策略是使用多阶段提示链，先进行信息提取和组织，再生成最终响应：

RAG 高级应用

随着应用场景的复杂化，简单的RAG架构可能无法满足需求。这时我们需要引入更高级的技术来增强系统能力。

1. 结构化数据查询

在处理结构化数据时，Text-to-SQL是一个强大的工具。通过精心设计的提示模板，我们可以让LLM生成准确的SQL查询：

2. 智能代理系统

Agent系统将LLM的能力与外部工具结合，实现更复杂的任务处理。关键是设计好任务分解和工具选择的逻辑：

推理性能优化

在生产环境中，性能优化是永恒的主题。通过多项技术的组合，我们可以显著提升系统的响应速度和资源利用率。

1. 注意力机制优化

Flash Attention通过优化内存访问模式，将注意力计算的复杂度从二次降低到线性。其核心思想是将注意力计算分块进行，减少内存访问：

2. 推理加速技术

KV Cache是提升生成速度的关键技术。通过缓存已生成token的key和value，我们可以避免重复计算：

推测性解码则通过小模型预测来加速生成过程。其效果取决于小模型预测的准确率和验证的开销：

工程化部署

将LLM系统部署到生产环境需要考虑诸多工程化问题。从服务架构到监控告警，每个环节都需要仔细规划。

1. 服务架构设计

vLLM提供了高效的推理服务框架。通过PagedAttention技术，它可以显著提升GPU内存利用率：

2. 监控系统

完善的监控系统是保障服务质量的关键。需要从多个维度收集和分析指标：

安全防护系统

LLM系统的安全性需要从多个层面进行防护。从输入验证到输出过滤，从访问控制到审计日志，构建完整的安全防护体系。

1. 输入安全

防范提示注入是首要任务。通过模板限制和输入净化，我们可以降低被攻击的风险：

2. 输出安全

输出内容同样需要严格控制。通过敏感信息检测和内容审核，确保系统输出的安全性：

最佳实践建议

在实际项目中，还需要注意以下几个关键点：

架构设计应该保持足够的灵活性，便于未来的扩展和调整。采用模块化设计，将核心功能封装为独立的服务，这样可以根据需求灵活扩展系统能力。

性能优化要从整体着眼。单一优化技术的效果可能有限，但多种技术的组合使用往往能带来显著的性能提升。要根据实际场景选择合适的优化策略组合。

安全性需要贯穿整个系统。从开发初期就要考虑安全问题，将安全机制设计到系统的各个环节中，而不是作为事后的补丁。

*文章为转载，来源于公众号 AI 启蒙小伙伴