AI 时代，Data Engineer 该何去何从

CONTENTS

这本书怎么用

这本不是劝所有 Data Engineer 都改名叫 AI Engineer。更准确地说，AI 时代的 DE 会分化：一部分继续做数据平台，但要变成 AI-native；一部分转去 RAG、LLMOps、AI Platform；还有一部分会走数据治理和 AI 产品数据负责人。

你读的时候只抓三件事：哪些 DE 工作会被 AI 工具吃掉，哪些能力会更值钱，你该往哪条路线补项目和简历。

6

条 DE 可转 AI 路线

4

个作品集项目模板

90

天转型执行顺序

扫码判断 Data Engineer 转 AI 路线

把你的履历、技术栈和目标岗位发来，先看更适合 RAG、AI Platform、Analytics Engineer 还是 Applied AI。

01

CHAPTER 01

AI 时代，DE 不是消失，是分化

WEF 的 Future of Jobs 2025 把 AI、big data、software、security 相关职业放在增长主线里；LinkedIn 2026 Jobs on the Rise 也把 AI engineer 放到增长最快岗位之一。对 DE 来说，真正的问题不是“会不会被 AI 替代”，而是你还停在写 pipeline，还是已经能支撑 AI 系统。

先别急着焦虑。会被压缩的是重复搬数、写样板 SQL、手工查报表。更值钱的是：把企业数据变成可靠 context，让 AI 查得到、答得准、看不越权、错了能追溯。

1

原始数据

表、文档、日志、工单、指标

DE 熟

→

2

AI Context

chunk、embedding、metadata、semantic layer

新增

→

3

AI 系统

RAG、Agent、Eval、Trace、权限

目标

02

CHAPTER 02

6 条路线：先选一个主攻方向

不要一边学 RAG，一边学 Agent，一边学 MLOps，一边刷 LeetCode。AI 时代的 DE 不是只有一条路，先选一条和原经历贴得住的线。

ROUTE 1

RAG / AI Data Engineer

最贴近 DE。你负责文档入库、chunk、embedding、metadata、权限、刷新和检索质量。

可做项目：项目：公司知识库 RAG，支持 citation、ACL、错例回灌。

ROUTE 2

AI Platform / LLMOps

更偏平台。把模型调用、评估、trace、成本、灰度和权限做成团队能复用的底座。

可做项目：项目：prompt + eval CI，按模型、版本、用户拆成本。

ROUTE 3

Analytics Engineer for AI

会 dbt / semantic layer 的人很适合。把指标口径和自然语言问数连起来。

可做项目：项目：NL-to-SQL 指标助手，只允许查已定义 metric。

ROUTE 4

Applied AI Engineer

如果代码能力够，可以从 DE 切到应用层：RAG、tool calling、agent workflow、API。

可做项目：项目：带工具调用的数据排障助手，能查 Airflow/DBT 日志。

ROUTE 5

AI Governance / Data Quality

大公司会很需要。AI 项目最怕脏数据、越权、PII、口径混乱。

可做项目：项目：AI 数据准入 checklist + 自动化质量报告。

ROUTE 6

AI Product Data Lead

不一定纯写代码。负责把业务数据、指标、AI 场景、风险评估串起来。

可做项目：项目：为客服/销售/运营 AI Copilot 设计数据边界。

03

CHAPTER 03

技能迁移表：旧技能怎么变成 AI 能力

AI 应用看起来新，底层很多还是工程老问题：数据从哪来、口径怎么算、权限怎么控、线上怎么查。你要做的是把老能力翻译成 AI 语言。

01

SQL / 数据建模 → Metric layer、NL-to-SQL、事实表/维表口径

别让 AI 直接猜业务指标。先把指标定义成 semantic model。

02

ETL / ELT Pipeline → RAG ingestion、embedding refresh、batch/stream context

AI 数据不是一次性导入，文档更新、权限变化都要重新索引。

03

Data Quality → RAG factuality、retrieval quality、answer quality

AI 答错不一定是模型差，很多时候是 chunk、metadata、freshness 出问题。

04

Orchestration → Agent workflow、eval CI、offline batch scoring

Airflow/dbt 的思维可以直接迁移到 AI 工作流。

05

治理 / 权限 → ACL、PII redaction、tool permission、audit log

RAG 最怕“检索到了不该看的数据”。DE 的治理经验很值钱。

06

Observability → Trace、latency、cost per answer、error replay

能把一次回答拆成 retrieval、rerank、LLM、tool 四段，面试就有底气。

04

CHAPTER 04

第一主线：RAG 数据管道

LangChain 把 RAG 拆成 indexing 和 retrieval/generation。DE 最容易补位的是 indexing：数据清洗、切片、metadata、embedding、索引刷新、权限过滤。

RAG 数据管道：
source docs / tables
  -> clean + normalize
  -> chunk by structure
  -> add metadata: source, owner, time, ACL, version
  -> create embeddings
  -> vector / hybrid index
  -> retrieval + rerank
  -> answer with citation
  -> eval + trace + feedback

面试能说的点：chunk 不是按固定字数乱切，最好按标题、段落、表格、业务对象切；metadata 不是装饰，它决定权限、过滤、溯源和排障。

05

CHAPTER 05

第二主线：数据质量、权限和治理

AI 会把脏数据说得很自信，所以数据质量比以前更要命。一个 RAG 系统答错，可能不是模型差，而是文档过期、chunk 不完整、权限过滤漏了、指标口径乱了。

DE 背景的优势

知道数据 freshness 不是口号。
知道谁能看什么数据。
知道指标口径乱会害死人。
知道 pipeline 失败要可重跑。

AI 项目常见坑

把所有文档丢进向量库。
没有 ACL，只靠 prompt 说“不要泄露”。
没有 eval，改一次 prompt 靠感觉。
没有 trace，线上错了查不到。

你如果已经做过数据治理或数仓项目，别把它写成“老 DE 经历”。扫 Angela 的码，可以先看怎么改成 AI 方向项目表达。

06

CHAPTER 06

第三主线：Eval、Trace、成本

从 demo 到生产，差别不在 UI 漂不漂亮，而在能不能证明“变好了”。OpenAI 和 LangSmith 都把 eval 单独拿出来讲，就是因为 AI 系统不能只靠人工点几下。

要量什么	DE 能怎么做	AI 项目里怎么说
Retrieval recall	准备 golden queries 和 expected docs	检索有没有把正确上下文找回来
Citation accuracy	抽样标注 source 是否支持答案	回答有没有证据，不是凭空编
P95 latency	分段计时和 dashboard	慢在检索、rerank、LLM 还是 tool
Cost per answer	按模型、prompt、用户、功能拆账	降本后还要重跑 eval

07

CHAPTER 07

作品集：别做泛泛的聊天机器人

DE 转 AI 的作品集，要让面试官看到你不只是会调 API，而是能把数据系统接进 AI。下面 4 个项目，选一个做到扎实，比做 5 个玩具 demo 强。

PROJECT 1

权限型知识库 RAG

用 200-500 篇真实文档做 RAG。要求：metadata、source citation、用户权限、更新策略、10 个失败案例。

简历写法：Built ACL-aware RAG over 420 docs; added metadata filters and rerank; created 60-query eval set for citation and permission-leak checks.

PROJECT 2

安全 NL-to-SQL 指标助手

不用让模型自由写 SQL。先建 semantic model，让它只能解释和查询已定义 metric。

简历写法：Built metric Q&A assistant on dbt semantic models; restricted generated SQL to governed metrics and logged every query for audit.

PROJECT 3

数据质量排障 Agent

让 Agent 读取 DAG 状态、dbt test、warehouse query history，但危险动作只建议不执行。

简历写法：Created data-quality triage agent that reads pipeline logs and suggests owner/action; reduced manual root-cause lookup in weekly incidents.

PROJECT 4

Eval + Trace Dashboard

把每次 AI 回答拆成 retrieval、prompt、model、tool、cost、latency。做 50-100 个 golden queries。

简历写法：Set up eval dashboard tracking retrieval recall, citation accuracy, P95 latency and cost per successful answer.

08

CHAPTER 08

简历和面试：把 DE 经历翻译成 AI 语言

别只写“做过数据管道”。AI 招聘方想知道：你的数据管道能不能支撑 RAG？能不能做 eval？能不能治理权限？能不能查线上问题？

别这么写

Worked on data pipelines and learned AI tools.
Built a chatbot with company documents.
Used vector database and OpenAI API.

改成这样

Built a document ingestion pipeline for RAG over 380 policy docs; added metadata, ACL filters and daily embedding refresh jobs.
Created a 75-query eval set for retrieval recall, citation accuracy and answer refusal; tracked P95 latency and cost per successful answer.
Designed dbt semantic models for 18 business metrics and connected them to a governed NL-to-SQL assistant with query audit logs.

面试准备三件套：一张架构图、三个失败案例、一个 eval 表。没有这三样，项目再大也容易讲虚。

09

CHAPTER 09

90 天路线：别学散，按项目倒推

转型最怕“收藏了一堆课”。你只需要一个主项目，把 RAG、权限、eval、trace、简历表达都塞进去。

90 DAYS别重新读一个学位，先把一个项目做硬

第 1-2 周：补 AI 应用基本盘

跑通 embeddings、RAG、function calling、structured output。别看完教程就算学会，至少写一个 API。

必做

第 3-4 周：把 DE 项目改成 AI 项目

选你最熟的数据域，做 ingestion、chunk、metadata、vector index、citation。

必做

第 5-8 周：加 eval 和治理

准备 50 个真实 query，拆 retrieval metric 和 answer metric；加权限、PII、trace。

必做

第 9-12 周：投递和复盘

简历改成数字版，准备 3 个失败案例。边面边改项目，比闭门造车快。

开投

想确认自己该走哪条 AI 路线？

扫码找 Angela。把你现在做的 DE 项目和目标 JD 发来，先判断是补 RAG、LLMOps、semantic layer，还是应用工程。

10

CHAPTER 10

来源清单

核对日期：2026-06-30。市场趋势用公开报告和公开媒体报道；技术做法尽量用官方文档，不把营销文章当技术依据。

AI
时代
DE 何去何从

目录

这本书怎么用