课程大纲

LLM Basics
Generative AI 在真实业务中的应用与 AI Engineering 入门

在这节课中，你将系统理解生成式 AI（Generative AI）在真实商业世界中究竟能做些什么，以及企业为什么如此重视 AI 能力。

课程从 GenAI 的三大应用方向出发，带你了解 AI 如何提升用户体验、增强员工生产力、优化企业业务流程。随后，你会第一次接触 AI Engineering 的核心思想：AI 工程不是模型研究，而是“让 AI 真正能为企业干活”，重点是把稳健的原型快速变成可复用、可上线的应用。

本节课将帮助你从“工具使用者”向“能构建 AI 系统的人”完成第一步认知转变，为后续深入学习 RAG、Agents、MCP 与生产级部署打下基础。

本节课学习目标

学习完本节课，你将能够：

• 说清楚生成式 AI 在企业中的 三大核心应用方向
  （提升客户体验 / 提高员工生产力 / 优化业务流程）。

• 认识 AI Engineer 的职业定位与核心职责——不是科研，而是构建能落地的 AI 解决方案。

• 理解“构建 → 交付 → 可复用”的 AI 工程理念。

• 初步掌握 AI 工程包含的主要概念：Prompt、RAG、Agents 等基石能力。

• 建立对后续课程（RAG、Agent、MCP 等）的整体知识框架。

核心知识点讲解

GenAI 的三大核心应用方向

PPT 将生成式 AI 的企业级应用总结成三个方向，每一个方向都对应广泛且真实的业务场景：

① 增强客户体验（Enhance Customer Experiences）

如：客服机器人、个性化推荐、对话式搜索、企业智能助手。
👉 企业希望让 AI 解决“用户问问题、企业要快速回答”这一核心痛点。

② 提升员工生产力与创造力（Boost Employee Productivity & Creativity）

如：AI Coding Assistant、自动文档处理、报告生成、知识问答、Data Democratization。
👉 让 AI 成为员工的“第二大脑”，减少重复劳动。

③ 优化业务流程（Optimize Business Processes）

如：流程自动化、欺诈检测、数据增强、AIOps、呼叫中心自动化。
👉 让 AI 接得住业务流程，把手工步骤变成自动化。

什么是 AI Engineering？

AI Engineering 是构建、交付、复用“能真正落地”的 AI 应用的工程学。

也就是说，AI Engineer 做的不是训练模型，而是：

• 让 AI 模型能稳定地嵌入业务流程

• 把一个原型做成可靠、可维护的应用

• 平衡实验性与生产稳定性

• 确保应用的准确性、可用性、可扩展性

它更像软件工程 + AI 应用集成，而不是算法研究。

好的 AI Engineer 的三类核心能力

一个优秀的 AI Engineer 需要：

① 快速构建稳健且可复用的原型

能迅速把 Prompt → Demo → 可运行应用。

② 在探索与工程之间找到平衡

既能尝试新方法，又能保证工程质量与稳定性。

③ 设计能嵌入业务流程的 AI 解决方案

不仅生成一个答案，而是让系统能执行任务、查数据、做决策、触发流程。

AI 基础概念总览

这一页是后续课程的知识地图，包括：

• Foundation Models（LLM 基础模型是什么、如何预训练）

• Core AI tasks（文本生成、摘要、问答、信息抽取、聊天）

• 三大核心应用方式：

  • Fine-tuning

  • Prompt Engineering

  • Retrieval Augmentation（RAG）

这一页为学习后续模块（Prompt、RAG、Agents）建立概念基础。

本节课你将学会什么？

学习完这一小课，你将能够：

• 向别人讲清楚“GenAI 到底能为企业做什么”。

• 理解 AI Engineer 的真实工作内容，不再把自己定位成“工具使用者”。

• 建立后续深入学习 RAG、Agent、MCP 的完整认知框架。

• 看懂企业 AI 项目的结构，知道从“原型”到“上线”之间需要哪些工程步骤。
  

GenAI Overview+Ops-* - 副本




Structured Data vs Unstructured Data




Introduction to Machine Learning




Supervised, Unsupervised, and Reinforcement learning

在本节课程中，我们将深入探讨三种主要的机器学习类型——监督学习、非监督学习和强化学习，帮助您更清晰地理解这些核心概念：

1. 监督学习：适用于带标签的数据。在监督学习中，模型通过已知的输入和输出关系进行训练，用于分类和预测。例如，我们可以通过带有“狗”或“非狗”标签的图片数据集训练模型，使其在未来识别出新图片中的狗。
2. 非监督学习：用于没有标签的数据，主要用于发现数据中的模式和分组。通过扫描未标记的图片数据集，模型可以自行分出“狗”和“猫”等群体，尽管它不会明确知道这些群体代表什么。非监督学习适合发现潜在的客户分组或产品偏好，帮助企业获得有价值的洞察。
3. 强化学习：适合需要通过试错找到最佳策略的场景，比如机器人技术和推荐系统。强化学习在缺乏标签的情况下，通过制定规则，让模型逐步探索和优化。例如，Netflix利用用户反馈来不断调整节目推荐，从而提供更符合用户偏好的内容。

课程最后，我们预告了深度学习的内容，这是一种更复杂的机器学习方法，由神经网络驱动，将带您领略计算机科学的前沿创新。本节课将为您铺平机器学习的探索之路，帮助您在实际项目中选择合适的学习方法。

Introduction to Deep Learning




The transformer architecture

在本节课程中，我们将详细讲解变换器（Transformers）架构，深入探索其在自然语言处理（NLP）任务中的强大功能。您将学习变换器如何通过其编码器-解码器架构，一次性处理所有输入，提升翻译和文本生成等任务的效率和精确度。

课程主要内容包括：

1. 变换器的整体架构：介绍变换器的编码器-解码器模型，展示其如何在不依赖逐步输入的情况下，同时处理所有词汇，使得模型的性能远超传统递归神经网络（RNN）模型。
2. 编码器模块的工作原理：剖析编码器的分步处理过程，从输入词汇到嵌入再到自注意力机制，让您深入理解变换器如何有效提取词汇间的语义关系。
3. 变换器相较于RNN的优势：通过实例解释变换器如何一次性接收并处理整个句子，提高了翻译效率和上下文理解能力，带来自然语言处理领域的突破性进展。

这节课程将帮助您理解变换器架构的复杂性，并为您奠定使用与实现变换器的基础。之后，我们将继续探讨变换器的解码器模块，进一步加深对这一革命性技术的理解。

Input embeddings

在本节课程中，我们将详细讲解变换器架构的**输入嵌入（input embeddings）**过程，这是实现自然语言处理的第一步。该步骤将文本转换为数值表示，使得模型能够处理和理解语言中的语义和上下文信息。

课程内容包括：

• 标记化（Tokenization）：将输入文本分解为标记（如单词、子单词或字符），并为每个标记分配一个唯一编号，基于预定义的词汇表来构建。
• 词嵌入（Word Embeddings）：通过嵌入矩阵将每个标记映射为向量表示，这些向量包含了词的语义和语法信息，使语义相似的词在向量空间中接近。
• 位置编码（Positional Encoding）：在向量中添加位置信息，记录每个标记在句子中的顺序，确保模型能够识别句子的结构。
• 填充与截断：向较短的序列中添加填充标记，或从较长的序列中截断部分标记，以适配固定的输入长度。

通过这些步骤，我们为变换器的编码器模块创建了具有语义和上下文信息的输入嵌入，为后续处理打下了基础。这一过程是现代大型语言模型的关键，也是文本转化为计算机可理解数据的必要步骤。

LLM Baiscs
Transformer Architecture+API

Transformer Architecture 课程介绍

学习目标

本课程旨在为学生提供对Transformer架构的深入理解。通过该课程，学生将学习以下内容：

1. Transformer模型的核心组成部分及其工作机制。
2. 如何应用Self-Attention机制来处理自然语言处理任务。
3. 理解Transformer相对于传统RNN、LSTM模型的优势，如并行化和效率提升。
4. 掌握Multi-Head Attention的原理和如何增强模型的表现力。
5. 学习如何在实际项目中应用Transformer进行序列到序列任务，如机器翻译、文本生成等。
6. 使用PyTorch或TensorFlow实现Transformer模型，了解其代码实现细节。

知识点介绍

1. Transformer模型概述Transformer是一种基于Attention机制的模型，完全摒弃了RNN/LSTM中的循环结构，利用Attention机制实现并行计算，极大提升了训练速度和性能。
2. Self-Attention机制Self-Attention机制是Transformer的核心部分，用于在句子中的每个词与其他词之间建立联系。学生将学习如何通过Query、Key、Value矩阵来计算Attention分数，以及其在理解上下文中的应用。
3. Multi-Head AttentionMulti-Head Attention是Transformer中为了提升模型对不同位置的关注能力所采用的一种方法。学生将学习如何通过多个Attention头提升模型的多样性和表现力。
4. 编码器-解码器结构Transformer模型的编码器-解码器结构，分别由多个层堆叠而成，编码器负责处理输入信息，解码器则生成输出。学生将学习如何通过编码器捕捉输入序列的全局信息，解码器在生成每个输出时依赖于之前的输出。
5. Positional EncodingPositional Encoding用于弥补Transformer中序列信息的缺失，帮助模型了解输入中词语的顺序。学生将学习如何生成并应用这些位置编码，使得模型能够理解序列中的相对位置。
6. Transformer的并行化优势相较于RNN和LSTM，Transformer能够通过并行处理每个输入词的位置，大大提升了计算效率。课程将深入探讨这一并行化的机制和优势。
7. 实际应用案例学生将了解Transformer在机器翻译、文本摘要、图像生成等任务中的应用实例，并进行实际项目练习。
8. Transformer的改进和优化课程还将介绍基于Transformer架构的优化方法，如BERT、GPT等预训练模型的原理及其在各种自然语言处理任务中的应用。

通过本课程，学生将具备扎实的Transformer理论基础和实践技能，能够将其应用于实际的深度学习任务中。

Prompt Engineering
The Four Prototyping Patterns: Prompting, Fine-Tuning, RAG, Agents




Prompt Engineering: Best Practices




Prompt Iteration through a User Interface

学习目标

1. 掌握如何通过用户界面进行Prompt Iteration，提高提示的精确性与生成模型的输出质量
2. 学习如何设计和优化用户界面以支持Prompt的快速迭代与调试
3. 理解如何通过用户反馈和交互优化Prompt，从而提升模型在实际应用中的表现
4. 提升在实际项目中通过用户界面实现Prompt Iteration和持续改进的能力

知识点介绍

Prompt Iteration基础

1. 了解Prompt Iteration的基本概念，掌握如何通过反复调整Prompt提高模型输出的质量
2. 学习如何根据模型生成的结果进行Prompt调整，达到预期效果

用户界面设计与交互

1. 学习如何设计支持Prompt Iteration的用户界面，提供用户友好的调试和修改环境
2. 理解如何通过UI实现Prompt的快速反馈与迭代，提升Prompt优化效率

用户反馈与Prompt优化

1. 探索如何通过用户反馈优化Prompt Iteration的过程，确保Prompt更符合用户需求
2. 学习如何结合用户输入与模型生成结果，持续调整和优化Prompt

实际应用中的Prompt Iteration

1. 探讨Prompt Iteration在对话系统、内容生成、自动化问答等应用中的实际作用
2. 学习如何通过用户界面在实际项目中实现Prompt的快速迭代与调优

通过这些知识点，学员将能够设计并优化支持Prompt Iteration的用户界面，并通过用户反馈和持续改进提升模型的生成效果。

Embeddings
Introduction to Embeddings




Embedding Models vs. LLM Chat Models

学习目标

1. 理解Embedding Models与LLM Chat Models的核心区别及各自的应用场景
2. 学习如何选择适合的模型类型，用于解决特定的自然语言处理任务
3. 掌握Embedding Models在语义表示、相似性搜索中的作用，以及LLM Chat Models在生成式对话中的应用
4. 提升在实际项目中整合Embedding Models和LLM Chat Models的能力，构建更高效的AI系统

知识点介绍

Embedding Models基础

1. 了解Embedding Models的工作原理，如何将文本转换为向量表示
2. 学习如何使用Embedding Models进行文本相似性搜索、聚类和分类等任务

LLM Chat Models基础

1. 理解LLM Chat Models（如GPT-3、ChatGPT）的生成式对话能力
2. 学习如何使用LLM Chat Models处理多轮对话、问答系统和内容生成任务

应用场景对比

1. 探讨Embedding Models在信息检索、推荐系统中的应用场景
2. 分析LLM Chat Models在智能助手、客服系统中的应用优势

模型选择与集成

1. 学习如何根据任务需求选择Embedding Models或LLM Chat Models
2. 掌握如何在项目中集成Embedding Models与LLM Chat Models，提升整体系统的智能化水平

性能优化与调优

1. 探讨如何优化Embedding Models的向量表示，提高语义相似性搜索的准确性
2. 学习如何优化LLM Chat Models的Prompt设计与对话生成质量

通过这些知识点，学员将能够理解Embedding Models与LLM Chat Models的差异，掌握各自的应用场景，并根据实际需求选择并集成这两类模型，构建更智能和高效的AI系统。

RAG Deployment
Introduction to Retrieval Augmented Generation (RAG)




Building Simple User Interfaces in Python

学习目标

- 掌握使用Python构建简单用户界面（User Interfaces, UI）的基础技能

- 学习如何通过常见的Python UI库（如Tkinter或PyQt）创建交互式应用

- 理解如何在Python中结合用户输入与逻辑处理，实现基础的界面交互

- 探索如何设计直观的UI布局，提升用户体验

知识点介绍

**Python UI基础概念**

- 了解Python中用户界面的概念和重要性

- 掌握UI组件（如按钮、文本框、标签等）的基本使用

**Tkinter基础**

- 使用Tkinter构建简单的窗口与布局

- 如何通过Tkinter创建交互式元素，如按钮和文本输入框

**PyQt基础**

- 介绍PyQt的基础结构和应用场景

- 学习如何使用PyQt创建更复杂的用户界面，包括多窗口和事件处理

**用户输入与逻辑处理**

- 如何通过Python获取用户输入并处理事件

- 将用户界面与后台逻辑相结合，实现动态交互

**UI设计与布局优化**

- 使用布局管理器优化UI的设计，提升用户体验

- 如何通过简单的设计原则让UI更具吸引力和实用性

通过学习这些知识点，学员将能够使用Python构建简单的用户界面，并将其集成到实际应用中，实现基本的用户交互功能。

PDF Parsing 101




LLM Rate Limits

学习目标

- 理解大语言模型（LLM）的Rate Limits机制及其对API调用的影响

- 掌握如何在开发过程中优化LLM API请求，减少因Rate Limits导致的调用失败

- 学习如何监控和管理LLM Rate Limits，以确保高效的模型性能和用户体验

- 探索常见的Rate Limits策略及其在不同应用场景中的应对方法

知识点介绍

**LLM Rate Limits基础**

- 什么是Rate Limits：限制API调用频率的机制

- 理解LLM API中的常见Rate Limits参数（如请求数、时间窗口）

**Rate Limits的影响**

- 如何Rate Limits影响API请求、响应时间和应用性能

- 探讨Rate Limits对高频API调用场景（如实时对话生成、批量数据处理）的影响

**Rate Limits管理与监控**

- 使用API监控工具追踪调用频率和Rate Limits状态

- 如何通过最佳实践减少Rate Limits超出问题，如请求分片、批处理和延时调用

**Rate Limits优化策略**

- 实施请求队列、重试机制和缓存策略以避免超过Rate Limits

- 如何优化提示（Prompt Engineering）以减少API调用次数，同时保持生成质量

**常见应对策略**

- 在不同平台上处理Rate Limits的常用方法：OpenAI、Google Cloud等

- 探索如何在不同业务场景中平衡调用频率与性能需求

通过这些知识点，学员将能够有效管理和优化LLM API的Rate Limits，从而提升应用的性能和可靠性。

RAG Deployment
Budgeting and API costs




用 AWS 构建 RAG应用

授课老师：Peiyao

RAG with LangChain
Introduction to LangChain




RAG with LangChain
LangChain Core Constructs




LangChain Expression Language: Chains and Runnables

学习目标

- 掌握LangChain Expression Language的基本概念及其在构建复杂任务流中的应用

- 学习如何通过Chains和Runnables高效管理和执行多步骤任务

- 理解如何使用LangChain Expression Language实现动态的Prompt Chains与任务自动化

- 提升在复杂项目中使用Chains和Runnables的能力，优化工作流和模型生成效果

知识点介绍

**LangChain Expression Language概述**

- LangChain Expression Language的定义与核心功能

- 如何通过该语言构建灵活的任务流，简化复杂任务的执行流程

**Chains的使用与管理**

- 学习如何创建与管理Prompt Chains，处理多步骤任务

- 掌握将不同任务组合到Chains中的最佳实践，以提升任务执行效率

**Runnables的概念与应用**

- 了解Runnables的定义及其在LangChain中的执行机制

- 如何通过Runnables动态调用LLM、API或其他外部资源来自动化任务

**Prompt Chains与Runnables的集成**

- 学习如何将Runnables嵌入到Prompt Chains中，实现复杂的任务自动化

- 优化Chains和Runnables的集成，确保任务流程的灵活性与可扩展性

**应用场景分析**

- 通过LangChain Expression Language处理实时数据检索、任务调度与生成内容

- 在对话系统、数据处理和智能问答等场景中有效运用Chains与Runnables

通过这些知识点，学员将能够熟练使用LangChain Expression Language中的Chains和Runnables，构建动态且高效的任务流，优化生成式AI应用的整体表现。

Monitoring and Visibility with LangSmith




RAG Evaluation
RAG Evaluation
RAG Evaluation




Metrics: Context Recall, Context Precision, Answer Relevancy, and Faithfulness

学习目标

- 掌握Metrics中的核心概念，包括Context Recall、Context Precision、Answer Relevancy和Faithfulness

- 理解这些指标在评估生成式AI和Retrieval Augmented Generation (RAG)系统中的作用

- 学习如何使用这些Metrics评估生成内容的质量和准确性

- 提升在实际项目中应用这些Metrics进行模型优化和系统性能改进的能力

知识点介绍

**Context Recall**

- 了解Context Recall的定义及其在RAG系统中的应用

- 学习如何衡量模型在生成内容时成功利用上下文信息的能力

- 掌握提高Context Recall的方法，确保更多相关上下文信息被检索并用于生成

**Context Precision**

- 理解Context Precision的概念，评估模型使用的上下文信息是否准确和相关

- 学习如何通过优化检索和生成过程提高Context Precision，减少无关或错误信息的使用

**Answer Relevancy**

- 掌握Answer Relevancy的评估方法，确保生成的答案与问题高度相关

- 理解如何使用Answer Relevancy指标衡量生成模型的回答质量和一致性

- 学习优化模型生成回答以提高其相关性和用户满意度

**Faithfulness**

- 了解Faithfulness的概念，即生成的答案是否忠实于检索的上下文或训练数据

- 学习如何使用Faithfulness评估模型生成内容的准确性，避免产生虚假或不准确的回答

- 通过调优模型提高其Faithfulness，确保生成内容的真实性和可靠性

**应用场景与优化策略**

- 探索这些Metrics在知识问答系统、生成式内容创作、文档摘要等领域的实际应用

- 学习如何根据评估结果优化检索策略、提示设计和生成模型，提高系统的整体性能

通过这些知识点，学员将能够有效使用Context Recall、Context Precision、Answer Relevancy和Faithfulness等Metrics评估生成系统的质量，并根据评估结果优化模型的表现。

RAG Asessment (RAGAS) Framework

学习目标

- 掌握Metrics中的核心概念，包括Context Recall、Context Precision、Answer Relevancy和Faithfulness

- 理解这些指标在评估生成式AI和Retrieval Augmented Generation (RAG)系统中的作用

- 学习如何使用这些Metrics评估生成内容的质量和准确性

- 提升在实际项目中应用这些Metrics进行模型优化和系统性能改进的能力

知识点介绍

**Context Recall**

- 了解Context Recall的定义及其在RAG系统中的应用

- 学习如何衡量模型在生成内容时成功利用上下文信息的能力

- 掌握提高Context Recall的方法，确保更多相关上下文信息被检索并用于生成

**Context Precision**

- 理解Context Precision的概念，评估模型使用的上下文信息是否准确和相关

- 学习如何通过优化检索和生成过程提高Context Precision，减少无关或错误信息的使用

**Answer Relevancy**

- 掌握Answer Relevancy的评估方法，确保生成的答案与问题高度相关

- 理解如何使用Answer Relevancy指标衡量生成模型的回答质量和一致性

- 学习优化模型生成回答以提高其相关性和用户满意度

**Faithfulness**

- 了解Faithfulness的概念，即生成的答案是否忠实于检索的上下文或训练数据

- 学习如何使用Faithfulness评估模型生成内容的准确性，避免产生虚假或不准确的回答

- 通过调优模型提高其Faithfulness，确保生成内容的真实性和可靠性

**应用场景与优化策略**

- 探索这些Metrics在知识问答系统、生成式内容创作、文档摘要等领域的实际应用

- 学习如何根据评估结果优化检索策略、提示设计和生成模型，提高系统的整体性能

通过这些知识点，学员将能够有效使用Context Recall、Context Precision、Answer Relevancy和Faithfulness等Metrics评估生成系统的质量，并根据评估结果优化模型的表现。

Langfuse

学习目标

- 理解如何评估Retrieval Augmented Generation (RAG)应用中的检索准确性和生成质量

- 学习如何设计和使用关键指标评估RAG系统中的信息检索和内容生成

- 掌握如何通过评估优化RAG应用的性能，确保系统的高效性和准确性

- 提升在实际项目中使用评估技术优化RAG系统的能力，改善用户体验

知识点介绍

**Retrieval Accuracy**

- 理解Retrieval Accuracy的概念，学习如何衡量RAG应用中的文档检索精度

- 使用指标如Precision、Recall和F1-Score评估检索结果的准确性与相关性

- 学习如何通过调优检索算法与策略提高Retrieval Accuracy，确保系统提供高质量的检索结果

**Generation Accuracy**

- 掌握如何评估RAG系统的生成质量，确保生成内容与用户请求相关且准确

- 使用BLEU、ROUGE等指标衡量生成文本的准确性和流畅性

- 学习如何通过优化生成模型和Prompt设计提高Generation Accuracy

**评估检索与生成的结合**

- 理解如何将Retrieval Accuracy与Generation Accuracy结合评估，确保整个RAG系统的端到端表现

- 研究如何通过精确的检索和高质量的生成相结合，提升系统的整体性能

**自动化评估与迭代优化**

- 探索如何通过自动化评估流程进行持续的系统优化和调优

- 学习如何根据评估结果改进检索策略和生成模型，提升系统的用户体验和响应速度

**实际应用场景**

- 了解在知识问答系统、文档生成、智能搜索等RAG应用中如何评估检索和生成的准确性

- 学习如何根据特定应用场景调整评估策略，确保RAG系统的高效性与准确性

通过这些知识点，学员将能够设计和实施评估技术，衡量RAG应用中的检索和生成表现，并通过评估结果持续优化系统的性能。

Agent Application with LangGraph
Agents




The Reasoning-Action (ReAct) Framework




Search and Retrieval with Tools (Function Calling)




Multi-Agent Applications
Multi-Agent Architectures




Hierarchical, Multi-Agent Collaboration, Agent Supervision




Agent Operations (Agent Ops) with LangSmith

学习目标

- 掌握Agent Operations (Agent Ops)的核心概念，理解如何通过LangSmith进行多Agent系统的管理和优化

- 学习如何监控、调度和优化Agent在生产环境中的表现

- 理解如何使用LangSmith进行Agent的调试、测试和持续监控，确保高效的任务执行

- 提升在实际项目中使用LangSmith进行Agent Ops管理和优化的能力

知识点介绍

**Agent Operations (Agent Ops) 概述**

- 了解Agent Ops的核心理念以及如何通过LangSmith进行多Agent系统的管理

- 学习如何监控多个Agents的任务执行情况，确保系统的高效性与稳定性

**LangSmith的Agent管理功能**

- 使用LangSmith进行Agent的实时监控、日志记录和性能跟踪

- 学习如何通过LangSmith调试和优化Agents，提升任务执行的准确性

**Agent调度与优化**

- 理解如何在生产环境中进行Agent调度，实现任务的动态分配与资源优化

- 学习如何通过LangSmith的调度机制，提升系统的响应速度和任务执行效率

**持续监控与调试**

- 通过LangSmith进行持续监控，确保多Agent系统在高负载下的稳定性

- 学习如何捕捉和分析Agent的错误日志，并通过LangSmith进行实时调试

**Agent Ops的应用场景**

- 了解Agent Ops在复杂任务系统、生成式AI、自动化控制等领域的实际应用

- 学习如何通过LangSmith优化多Agent系统的整体性能，确保系统的可扩展性与稳定性

通过这些知识点，学员将能够使用LangSmith管理、监控并优化多Agent系统，确保系统在生产环境中的高效运行，并能够应对复杂的任务调度和性能调优需求。

Multi-Agent Frameworks: AutoGen, CrewAI

学习目标

- 理解Multi-Agent Frameworks的核心概念，并学习如何使用AutoGen和CrewA构建多Agent系统

- 掌握如何通过这些框架设计、部署和管理多个Agents，处理复杂任务

- 学习如何优化Agents之间的协作与通信，提升系统的任务执行效率

- 探索如何在实际项目中使用AutoGen和CrewA框架进行多任务调度和自动化操作

知识点介绍

**Multi-Agent Frameworks概述**

- 了解Multi-Agent Systems (MAS)的基础架构，理解AutoGen和CrewA在多Agent系统中的作用

- 学习如何通过这些框架实现任务的自动化与并行处理

**AutoGen Framework的使用**

- 掌握AutoGen框架的核心功能和模块，学习如何使用它来自动生成和管理多个Agents

- 理解如何通过AutoGen实现动态任务分配与自动化调度

**CrewA Framework的应用**

- 掌握CrewA的功能特性，了解如何使用CrewA进行多Agent系统的协作与通信

- 学习如何通过CrewA优化任务执行顺序与资源分配，确保系统的高效运行

**Agents的协作与通信优化**

- 研究如何在复杂任务环境中设计Agents之间的协作机制，确保任务的顺利执行

- 学习如何通过这些框架提升Agents之间的通信效率与任务协调

**实际应用场景与系统扩展**

- 探讨Multi-Agent Frameworks在自动化控制、智能决策、生成式AI等领域的应用

- 学习如何扩展AutoGen和CrewA系统的规模与处理能力，以适应更复杂的任务环境

通过这些知识点，学员将能够使用AutoGen和CrewA构建、管理并优化多Agent系统，确保系统在实际项目中的高效运行和稳定性。

Model Context Protocal(MCP)
Introducing the Model Context Protocol(MCP)

注册API Keys、Introducing the Model Context Protocol(MCP)

Deep agents 01

1. 课程简介

本课程旨在深入解析下一代 AI Agent——“深度代理”的运作机制。课程将从深度代理的定义出发，对比传统 ReAct 模式的局限性，重点剖析支撑深度代理长时间、复杂任务处理能力的四大关键组件（系统提示、规划工具、子代理、文件系统），并结合 Claude Code 和 Manus 等前沿案例进行实战讲解。

2. 教学大纲内容

第一章：深度代理基础 (Foundations of Deep Agents)

1.1 定义与核心能力

深入探索（Deep Exploration）： 具备对主题进行垂直深挖的能力。

复杂规划（Complex Planning）： 能够拆解和安排高复杂度的任务流程。

长时程执行（Long Time Horizon）： 能够在更长的时间跨度内持续追踪并执行目标。

1.2 运行机制

基于 Tool Calling 的循环机制（Observation-Reasoning-Action）。

与 ReAct Agent 的共性：底层循环逻辑一致。

核心差异： 深度代理通过更优的工程设计（四大组件）解决了 ReAct 在长时程任务中规划混乱、执行力下降的问题。

第二章：关键组件 I —— 规划工具与上下文工程 (Planning & Context Engineering)

2.1 规划工具的本质

工具形态：如 TodoWrite 或任务清单。

“空操作”（No-op）策略： 并非执行实质性代码，而是作为一种上下文管理手段。

2.2 规划的作用机制

自我提醒（Self-Reminder）： 在上下文中保留任务轨迹，防止模型“遗忘”。

条理性与进度感： 帮助代理在长任务中保持连贯性。

2.3 案例分析

Manus 案例： 使用 <planner_module> 和伪代码（Pseudocode）管理整体任务事件流。

Claude Code 案例： 利用 Todo 列表不断重新生成计划，刷新上下文认知。

第三章：关键组件 II —— 子代理架构 (Sub-Agents Architecture)

3.1 架构设计

主代理（Orchestrator）与子代理（Worker）的协作模式。

任务拆解与并行处理（如 Anthropic 的引用与搜索子代理）。

3.2 子代理的核心优势

上下文隔离（Context Isolation）： 最关键特性。子代理的“兔子洞”探索不会污染主代理的上下文窗口。

专业能力聚焦（Specialized Expertise）： 针对特定任务微调提示词或模型。

权限管理与安全性： 灵活配置工具访问权限（如文件读写权限隔离）。

3.3 实践应用

Manus 的“多模块”设计：浏览、编码、部署各司其职，由主脑统一调度。

第四章：关键组件 III —— 文件系统作为外部记忆 (File System as Memory)

4.1 上下文窗口的挑战

长上下文（128k+）的痛点：观测数据（Observation）过大、模型性能随长度增加而下降（Lost in the Middle）、成本高昂。

4.2 文件系统的角色转变

从存储到记忆（From Storage to Memory）： 将文件系统视为“终极上下文载体”（Ultimate Context）。

上下文卸载（Offloading）： 将大量非结构化数据存入文件，仅在上下文中保留引用（Reference）。

共享工作空间： 主代理与子代理之间的数据交换中心。

4.3 工具实现

Anthropic 的 str_replace 编辑工具与文件读写机制。

第五章：关键组件 IV —— 系统提示词工程 (Advanced System Prompts)

5.1 提示词的重要性

误区纠正：模型越强，提示词不仅不能省，反而需要更详细。

5.2 高级系统提示词结构

工具使用说明： 详尽的 Tool Use 指南。

Few-Shot Examples： 提供特定情境下的操作范例。

规模： 往往长达数页（如 Claude Deep Research 提示词）。

5.3 目的

确立行为规范，激活“深入”能力，确保工具调用的准确性。

3. 课程总结与核心洞察

上下文工程（Context Engineering）的定义： 将正确的信息，在正确的时间，填充进有限的上下文窗口的艺术。

深度代理的成功公式：

DeepAgent=ReActLoop+(详细Prompt+规划工具+子代理+文件系统)

未来趋势： 随着任务复杂度提升，对于“外部记忆”（文件系统）和“上下文隔离”（子代理）的依赖将愈发重要。

Deep agents 02

1. 课程简介

本课程旨在深入解析下一代 AI Agent——“深度代理”的运作机制。课程将从深度代理的定义出发，对比传统 ReAct 模式的局限性，重点剖析支撑深度代理长时间、复杂任务处理能力的四大关键组件（系统提示、规划工具、子代理、文件系统），并结合 Claude Code 和 Manus 等前沿案例进行实战讲解。

2. 教学大纲内容

第一章：深度代理基础 (Foundations of Deep Agents)

1.1 定义与核心能力

深入探索（Deep Exploration）： 具备对主题进行垂直深挖的能力。

复杂规划（Complex Planning）： 能够拆解和安排高复杂度的任务流程。

长时程执行（Long Time Horizon）： 能够在更长的时间跨度内持续追踪并执行目标。

1.2 运行机制

基于 Tool Calling 的循环机制（Observation-Reasoning-Action）。

与 ReAct Agent 的共性：底层循环逻辑一致。

核心差异： 深度代理通过更优的工程设计（四大组件）解决了 ReAct 在长时程任务中规划混乱、执行力下降的问题。

第二章：关键组件 I —— 规划工具与上下文工程 (Planning & Context Engineering)

2.1 规划工具的本质

工具形态：如 TodoWrite 或任务清单。

“空操作”（No-op）策略： 并非执行实质性代码，而是作为一种上下文管理手段。

2.2 规划的作用机制

自我提醒（Self-Reminder）： 在上下文中保留任务轨迹，防止模型“遗忘”。

条理性与进度感： 帮助代理在长任务中保持连贯性。

2.3 案例分析

Manus 案例： 使用 <planner_module> 和伪代码（Pseudocode）管理整体任务事件流。

Claude Code 案例： 利用 Todo 列表不断重新生成计划，刷新上下文认知。

第三章：关键组件 II —— 子代理架构 (Sub-Agents Architecture)

3.1 架构设计

主代理（Orchestrator）与子代理（Worker）的协作模式。

任务拆解与并行处理（如 Anthropic 的引用与搜索子代理）。

3.2 子代理的核心优势

上下文隔离（Context Isolation）： 最关键特性。子代理的“兔子洞”探索不会污染主代理的上下文窗口。

专业能力聚焦（Specialized Expertise）： 针对特定任务微调提示词或模型。

权限管理与安全性： 灵活配置工具访问权限（如文件读写权限隔离）。

3.3 实践应用

Manus 的“多模块”设计：浏览、编码、部署各司其职，由主脑统一调度。

第四章：关键组件 III —— 文件系统作为外部记忆 (File System as Memory)

4.1 上下文窗口的挑战

长上下文（128k+）的痛点：观测数据（Observation）过大、模型性能随长度增加而下降（Lost in the Middle）、成本高昂。

4.2 文件系统的角色转变

从存储到记忆（From Storage to Memory）： 将文件系统视为“终极上下文载体”（Ultimate Context）。

上下文卸载（Offloading）： 将大量非结构化数据存入文件，仅在上下文中保留引用（Reference）。

共享工作空间： 主代理与子代理之间的数据交换中心。

4.3 工具实现

Anthropic 的 str_replace 编辑工具与文件读写机制。

第五章：关键组件 IV —— 系统提示词工程 (Advanced System Prompts)

5.1 提示词的重要性

误区纠正：模型越强，提示词不仅不能省，反而需要更详细。

5.2 高级系统提示词结构

工具使用说明： 详尽的 Tool Use 指南。

Few-Shot Examples： 提供特定情境下的操作范例。

规模： 往往长达数页（如 Claude Deep Research 提示词）。

5.3 目的

确立行为规范，激活“深入”能力，确保工具调用的准确性。

3. 课程总结与核心洞察

上下文工程（Context Engineering）的定义： 将正确的信息，在正确的时间，填充进有限的上下文窗口的艺术。

深度代理的成功公式：

DeepAgent=ReActLoop+(详细Prompt+规划工具+子代理+文件系统)

未来趋势： 随着任务复杂度提升，对于“外部记忆”（文件系统）和“上下文隔离”（子代理）的依赖将愈发重要。

Model Context Protocal(MCP)
Synthetic Data Generation
SDG for Fine-Tuning & Prompt-Based Data Generation for Fine-Tuning & Alignment




Test Data Generation for RAG: In-Depth Evolution

学习目标

通过本课程的学习，学员将能够：

1. 理解测试数据在RAG系统中的重要性，掌握生成测试数据的基本技术。
2. 学习生成测试数据的高级方法，包括对多样性、覆盖率和复杂度的控制。
3. 掌握如何利用测试数据评估RAG系统的检索和生成性能，识别系统中的关键问题。
4. 探索测试数据进化方法，通过迭代优化提升数据集质量和系统表现。
5. 学会将数据生成和测试结果反馈整合到RAG系统的持续优化流程中。

知识点介绍

1. RAG系统中的测试数据基础

1. RAG系统概述: 了解RAG系统的基本架构和工作原理，包括检索模块和生成模块的协同工作方式。
2. 测试数据在RAG中的作用: 理解测试数据在RAG系统中验证性能、发现问题和优化生成效果方面的重要性。
3. 基本数据生成方法: 掌握生成基本测试数据的方式，如语料库收集、数据标注和初步清洗。

2. 高级测试数据生成技术

1. 多样性和覆盖率控制: 学会如何生成包含多种类型、风格和难度级别的测试数据，以确保RAG系统在不同场景中的表现稳定。
2. 复杂度生成策略: 了解如何生成具有更高复杂度的数据，以测试RAG系统在处理长文本、多意图查询等场景中的能力。
3. 模拟真实世界数据: 学习如何生成与真实应用场景相似的测试数据，以更贴近生产环境进行系统验证。

3. 测试数据评估与质量管理

1. 数据质量评估指标: 掌握常见的数据质量评估指标，如准确性、一致性和相关性，确保测试数据的高质量。
2. 测试数据清洗与过滤: 了解如何自动化地清洗和过滤测试数据，以确保数据集的有效性和高效性。
3. 数据覆盖度与代表性分析: 学会分析测试数据的覆盖度和代表性，确保数据能够全面覆盖RAG系统可能遇到的输入类型。

4. RAG系统的性能评估与问题诊断

1. 检索模块的测试评估: 掌握如何使用测试数据评估检索模块的性能，包括查全率、查准率等指标。
2. 生成模块的表现测试: 学习如何通过测试数据验证生成模块的准确性、连贯性和流畅性，以确保生成的内容符合预期。
3. 系统瓶颈和误差分析: 利用测试数据分析RAG系统的性能瓶颈和常见错误模式，找到优化方向。

5. 测试数据的进化与优化

1. 进化式数据生成: 学习如何利用进化算法和迭代优化生成高质量测试数据，以适应RAG系统的不断发展。
2. 数据生成与优化反馈循环: 建立数据生成与测试结果之间的反馈循环，不断迭代提升测试数据的质量。
3. 数据进化案例: 通过实际案例探索数据生成和进化策略的应用效果，理解如何有效提升RAG系统的整体性能。

6. 项目实战：构建高效的测试数据生成与评估系统

1. 完整测试流程的项目实战: 在项目中应用所学知识，设计并生成高质量的测试数据集，对RAG系统进行完整的测试和优化。
2. 不同应用场景的测试案例: 提供多种应用场景（如客户支持、知识管理、文档检索等）的测试案例，帮助学员掌握如何在不同场景下生成和评估测试数据。
3. 测试与优化的持续集成: 学习如何将测试数据生成和系统优化集成到持续集成（CI）流程中，实现RAG系统的持续改进。

总结

通过本课程的学习，学员将全面掌握测试数据生成和进化的技术，为RAG系统的性能验证和优化提供坚实的基础。从基础的数据生成到高级的进化策略，本课程将帮助学员建立高效的测试流程，确保RAG系统在多种场景中的高效表现。无论是在生产环境中的数据检索、信息查询还是内容生成，本课程都将帮助学员打造可靠的测试数据生成流程，推动RAG系统的持续优化与进步。

Fine-Tuning Embedding Models
Fine-Tuning & Massive Text Embedding Benchmark (MTEB)




Downloading Open-Source Model Weights

学习目标

- 理解如何从开源平台下载和管理模型权重，掌握处理大规模模型的基本技能

- 学习如何确保下载的模型权重能够在不同框架（如TensorFlow、PyTorch）中正确加载和使用

- 探索如何通过优化模型权重下载和管理流程，提升开发效率

- 提升在实际项目中下载、加载和应用开源模型权重的能力

知识点介绍

**开源模型权重概述**

- 了解开源模型权重的来源与常见平台（如Hugging Face、GitHub、TensorFlow Hub）

- 学习如何选择和下载适合项目需求的预训练模型权重

**模型权重下载流程**

- 掌握如何从平台下载模型权重，确保完整性与兼容性

- 理解如何使用平台提供的API或工具进行模型权重的下载与管理

**不同框架中的权重加载**

- 学习如何在不同框架（如TensorFlow、PyTorch）中加载和使用下载的模型权重

- 探索如何处理不同格式的权重文件，确保其与项目兼容

**下载优化与管理**

- 学习如何优化模型权重的下载过程，减少时间与带宽消耗

- 了解如何通过版本控制和缓存机制管理多个模型权重

**实际应用与场景分析**

- 探讨下载并使用开源模型权重在自然语言处理、计算机视觉、生成式AI等领域的应用

- 学习如何在项目中集成开源模型权重，提升模型性能并减少训练时间

通过这些知识点，学员将能够高效地下载、管理并应用开源模型权重，确保其在不同框架和应用场景中的有效性与兼容性。

Loading LMs on GPU

学习目标

- 掌握如何将大型语言模型（LMs）加载到GPU上运行，提升模型推理和训练的速度

- 理解GPU与CPU加载模型的性能差异，学习如何优化GPU资源以支持大规模模型

- 学习如何在实际项目中管理和优化GPU资源，提高语言模型的性能和效率

- 提升在使用GPU进行大规模语言模型推理和训练的能力

知识点介绍

**GPU与LM的集成基础**

- 了解GPU在运行大型语言模型时的优势，学习如何选择合适的硬件资源

- 学习如何通过PyTorch、TensorFlow等框架将语言模型加载到GPU上

**GPU加载模型流程**

- 掌握如何使用代码实现将大型语言模型从CPU加载到GPU

- 学习使用 `.to(device)`（PyTorch） 或 `model.compile()`（TensorFlow）等方法指定设备

**优化模型加载与运行**

- 理解如何通过Batching、Mixed Precision和分布式训练等技术优化GPU上的模型加载

- 学习如何通过显存管理优化大规模模型的推理效率，避免显存溢出

**多GPU支持与并行处理**

- 学习如何在多GPU环境下运行语言模型，实现并行化计算，提升模型性能

- 理解如何使用Distributed Data Parallel (DDP)或模型并行化技术优化模型的运行效率

**性能监控与调优**

- 掌握如何通过GPU监控工具（如nvidia-smi）追踪GPU资源使用情况

- 学习如何通过分析和优化GPU使用效率，进一步提升模型运行性能

**实际应用场景**

- 探讨如何在自然语言处理、文本生成等任务中利用GPU加载和运行大型语言模型

- 学习如何通过GPU加速提高模型的推理和训练速度，缩短开发和部署时间

通过这些知识点，学员将能够熟练地将大型语言模型加载到GPU上运行，并通过优化策略提升模型在GPU上的推理和训练效率。

Hugging Face Sentence Transformers

学习目标

- 掌握Hugging Face Sentence Transformers的基础知识及其在文本嵌入和相似性搜索中的应用

- 学习如何使用Sentence Transformers生成高质量的文本嵌入，支持各种自然语言处理任务

- 理解如何在实际项目中通过Sentence Transformers进行文本相似性匹配、分类、聚类等任务

- 提升在大规模文本处理和生成任务中使用Hugging Face Sentence Transformers的能力

知识点介绍

**Sentence Transformers基础**

- 了解Sentence Transformers的架构和功能，学习如何生成文本嵌入

- 学习如何通过Hugging Face模型库加载预训练的Sentence Transformers模型

**文本嵌入生成**

- 掌握如何使用Sentence Transformers生成高质量的句子和段落嵌入

- 学习如何在相似性搜索、问答系统和文本分类等任务中应用文本嵌入

**模型训练与微调**

- 了解如何通过Hugging Face的训练工具微调Sentence Transformers模型，适应特定任务

- 学习如何加载预训练模型并通过自定义数据集进行微调

**大规模相似性搜索与优化**

- 学习如何在大规模文本处理任务中优化文本相似性搜索的性能

- 理解如何通过索引结构（如Faiss）加速相似性搜索过程

**应用场景与性能优化**

- 探讨Sentence Transformers在文本聚类、语义搜索、推荐系统等领域的应用

- 学习如何根据任务需求优化模型的推理速度和嵌入生成质量

通过这些知识点，学员将能够使用Hugging Face Sentence Transformers进行文本嵌入生成，并在各种自然语言处理任务中灵活应用该工具，提升文本相似性搜索和分类任务的效率。

Fine-Tuning Open-Source LLMs with Low-Rank Adaption
The Primary Roles of Fine-Tuning




Parameter Efficient Fine-Tuning (PEFT)




Quantization

学习目标

通过本课程的学习，学员将能够：

1. 理解模型量化的基本概念、原理及其在深度学习中的应用场景。
2. 学习常用量化技术，包括静态量化、动态量化和量化感知训练，并掌握其应用方法。
3. 掌握如何选择量化策略，在保持精度的同时减少计算资源和存储需求。
4. 探索量化在不同应用场景中的应用，如自然语言处理、计算机视觉和嵌入式设备等。
5. 学习量化模型的调优与性能评估，确保模型在生产环境中稳定高效。

知识点介绍

1. 量化的基础概念与优势

1. 量化的定义与工作原理: 了解量化在深度学习中的基本概念，理解其通过减少数值精度来降低模型存储和计算需求的工作原理。
2. 量化的主要类型: 掌握常见的量化类型，如静态量化、动态量化和量化感知训练的区别和适用场景。
3. 量化的优势与局限性: 探讨量化在提高模型效率、节省资源方面的优势，以及量化带来的精度下降和适用性限制。

2. 静态量化与动态量化

1. 静态量化: 学习静态量化（Post-Training Quantization，PTQ）的工作流程，掌握如何在模型训练后将权重转换为低精度，以提升推理效率。
2. 动态量化: 掌握动态量化（Dynamic Quantization）的实现方法，通过运行时的动态调整来实现高效推理，适合实时应用。
3. 静态与动态量化的比较: 探讨静态量化和动态量化的应用场景和性能对比，帮助学员根据实际需求选择合适的量化方法。

3. 量化感知训练（Quantization-Aware Training, QAT）

1. 量化感知训练的原理: 了解量化感知训练的核心原理，通过在训练过程中模拟量化过程，降低精度损失。
2. QAT的实现方法: 掌握如何通过QAT技术对模型进行量化训练，以确保模型在低精度下仍能保持高准确率。
3. QAT的适用场景: 学习QAT在对精度要求较高的任务（如图像分类、语义分割等）中的应用，确保量化后模型在保持性能的同时实现资源节省。

4. 量化的评估与调优

1. 量化模型的精度评估: 学习如何评估量化后模型的精度和性能，确保模型在生产环境中满足应用需求。
2. 量化模型的调优策略: 了解调优低精度模型的方法，包括量化位宽的选择、权重剪枝和误差补偿等策略。
3. 量化与硬件支持: 探索不同硬件平台（如CPU、GPU、TPU）对量化模型的支持，学会针对特定硬件优化量化模型的性能。

5. 量化在实际场景中的应用

1. 自然语言处理中的量化: 探讨量化技术在NLP模型（如BERT、GPT）中的应用，以减少大规模语言模型的资源消耗。
2. 计算机视觉中的量化: 学习如何将量化应用于计算机视觉任务（如图像分类、目标检测），在保持准确度的同时大幅提高推理速度。
3. 嵌入式设备中的量化: 了解量化在资源受限的嵌入式设备中的应用，确保模型能够在低功耗环境中高效运行。

6. 项目实战：量化流程与最佳实践

1. 量化项目实战: 在实际项目中完成从模型训练、量化处理到性能调优的完整流程，帮助学员掌握量化技术的理论和实践应用。
2. 多场景应用案例: 提供多个量化应用的实际案例，如文本生成、图像识别和物联网设备优化，帮助学员理解量化技术在不同领域的价值。
3. 量化与持续优化: 学习如何在生产环境中建立量化模型的持续优化流程，确保模型在长时间使用中的稳定性和高效性。

总结

通过本课程的学习，学员将全面掌握量化技术的核心概念与实际应用，从静态量化、动态量化到量化感知训练等全方位了解量化的实现方法和优势。课程覆盖从基础到进阶的知识，帮助学员在计算资源有限的场景中有效部署深度学习模型，实现更高的效率和适用性。

Career Coaching
Linkedin & CV 2024.12.08

Linkedin & CV 2024.12.08