AWS云计算知识实操班 课程安排

课程大纲

云计算与数据工程
AWS Basics

介绍亚马逊云服务 AWS

1. AWS 的基本概念和服务概览

AWS 全球架构

1. 解释 AWS 的全球布局，包括 Region 和 Availability Zone 的概念

AWS Region

1. 探讨Region的选择对性能和合规性的影响

AWS Availability Zone

1. 了解 Availability Zone 在提高应用可靠性中的作用

创建 AWS 账号

1. 指导如何创建 AWS 账号并简述账户安全性的最佳实践

Relational Database Service（RDS）的介绍

1. 介绍 RDS 服务，包括支持的数据库引擎和 RDS 的主要特点

创建 RDS 实例

1. 选择数据库引擎（如 MySQL）
2. 配置 RDS 实例的详细步骤，包括安全组和参数设置
3. 演示如何启动、停止和删除 RDS 实例

连接 RDS instance

AWS Permission & IAM & S3

IAM: Identity Access Management

1. 介绍 IAM 的基本概念，包括用户、组、角色和策略

例子: 熟悉 IAM 的功能

1. 通过实例深入了解 IAM 的功能和管理方法

例子: Create a Billing Alarm

1. 演示如何设置计费警报，以避免不必要的费用

S3 介绍以及练习

Tutorial AWS 基础

辅导内容：

1. AWS 基本使用问题答疑
2. 在 AWS 上 SQL 使用的问题答疑
3. Python & SQL 练习：使用 sql dump script进行数据库数据的导入，通过Bastion EC2进行Private Subnet进行转发等

Databases on AWS

数据库 Databases on AWS

1. 探讨 AWS 提供的数据库服务总览

关系数据库与非关系型数据库

1. 探讨关系数据库与非关系数据库的区别
2. 探讨非关系型数据库的特点和主要类型

OLTP vs OLAP

1. 比较在线事务处理（OLTP）和在线分析处理（OLAP）的特点和应用

Elasticache 介绍

1. 介绍 Elasticache 服务及其在缓存策略中的应用

RDS：备份 back ups, Multi-AZ & Read Replicas，加密 encryption

1. 深入探讨 RDS 服务，包括其备份、多可用区部署、读副本和数据加密功能

RDS 代码演示

1. 使用lambda从MySQL获取数据，写入S3，完成一个data extraction的过程

DynamoDB 介绍，AWS 上创建数据库实例

1. 探讨 DynamoDB 的核心概念，并通过实践学习如何在 AWS 上创建和配置 DynamoDB 实例

RedShift

1. 介绍 RedShift 数据仓库服务的特点和应用场景

关系型数据库 Aurora 及其架构

1. 探讨 Aurora 数据库的特点、架构及其在 AWS 服务中的地位和应用

灾难恢复

1. RPO, RTO, Transaction log

Tutorial 在 AWS 上 SQL 操作

1. 知识点回顾。
2. 课程答疑。

AWS Computing

介绍 EC2: Elastic Compute Cloud

1. 了解 EC2 服务的基础知识，包括它的特性和用途

AWS EBS 介绍

1. 探讨弹性块存储（EBS）的基本概念，以及它与 EC2 的关系

Lab: 启动我们的第一个 EC2 实例

1. 通过实际操作学习如何启动和配置 EC2 实例

安全组基础

1. 了解安全组的概念和如何用于管理 EC2 实例的网络访问

负载均衡器理论

1. 探讨负载均衡器的作用以及在 AWS 中的应用

AWS Lambda 介绍

1. AWS Lambda 服务概述。
2. Lambda 函数的工作原理和使用场景。
3. 创建第一个 Lambda 函数：环境设置、角色和权限。

Lambda 与 RDS 集成

1. 配置 Lambda 函数以连接到 RDS 实例。
2. 环境变量的使用来存储数据库连接信息。
3. 示例：在 Lambda 中执行 SQL 查询。

处理和转换数据

1. 使用 Python 在 Lambda 中处理 SQL 查询结果。
2. 数据转换技巧：从查询结果生成 JSON、CSV 等格式。
3. Lambda 函数的测试和调试方法。

AWS Networking

VPC 简介（Virtual Private Cloud）

1. 定义 VPC 及其在 AWS 中的作用
2. 探讨 VPC 的关键特性和优势

网络安全基础

1. 介绍网络安全的基本概念，包括防火墙和安全组

AWS VPC 的定义和示例

1. 通过例子讲解 VPC 的结构和工作原理

图示讲解 VPC 整个框架

1. 使用图解的方式展示 VPC 的架构和组件

内部 IP 范围

1. 演示如何在 VPC 中分配内部 IP 地址范围

VPC Peering 简介

1. 介绍 VPC Peering 的概念
2. 演示如何在不同的 VPC 之间建立网络连接

子网（Subnet）

1. 探讨子网的概念
2. 演示如何在 VPC 中划分和使用子网

互联网网关（Internet Gateway）

1. 介绍互联网网关的作用
2. 演示如何将其与 VPC 关联

路由表（Route Table）

1. 讨论路由表的功能
2. 演示如何管理 VPC 的路由

网络地址转换（NAT）网关和弹性 IP

1. 探讨 NAT 网关的作用和配置方法，以及弹性 IP 的概念和使用场景

VPC 端点（VPC Endpoints）

1. 介绍 VPC 端点的概念和用途
2. 演示如何在 VPC 中配置端点

VPC wrap-up

1. 总结 VPC 的核心概念，以及如何在 AWS 中构建高效、安全的网络架构

AWS data platform and serverless part 1

Kinesis 简介

1. 介绍 AWS Kinesis 服务及其在实时数据处理中的应用

为 Kinesis 配置生产者 Lambda

1. 练习：学习如何创建和配置一个 Lambda 函数来作为 Kinesis 的数据生产者

为 Kinesis 配置消费者 Lambda

1. 练习：学习如何创建和配置一个 Lambda 函数来处理 Kinesis 数据流的数据

Kinesis Firehose

1. 介绍 Kinesis Firehose 服务及其在数据加载和转换中的应用

Athena, Redshift Spectrum, SageMaker 简介

1. 探讨 Athena 和 Redshift Spectrum 在查询和分析数据湖数据的能力
2. 介绍 SageMaker 及其在构建、训练和部署机器学习模型中的应用

AWS CloudFormation 简介

1. 介绍 CloudFormation 服务及其在自动化资源管理和基础设施即代码（Infrastructure as Code, IaC）中的应用

介绍 Serverless 的定义和优点

1. 定义 Serverless 架构及其主要优点

在 terminal 安装 Serverless

1. 演示在本地环境中安装 Serverless Framework

运行 Serverless

1. 练习：学习如何使用 Serverless Framework 来部署和管理应用

AWS data platform and serverless part 2

创建第一个 Serverless 项目

1. 介绍如何创建 Serverless 项目和必要的前提条件

解析初始项目的默认代码：handler.py 和serverless.yml

1. 详细讲解项目初始代码文件的结构和功能
2. 解析 handler.py：理解处理函数的写法和触发机制
3. 解析 serverless.yml：探讨其配置项，如函数定义、事件触发器和资源配置

实施部署方法

1. 介绍如何使用 Serverless Framework 进行部署
2. 实践部署命令：serverless deploy –aws-profile profileName

案例讲解

1. 通过具体的案例，演示如何使用 Serverless 项目解决实际问题

两种方法实现 AWS 案例

1. 探讨两种不同的方法来实现 AWS 案例，提供多角度解决问题的视野和工具

Data engineering Practice

Batch Processing and Real Time Processing

1. 定义批处理和实时处理，并比较两者的特点和应用场景

Data Extraction/Ingestion

1. 探讨数据抽取的概念和技术，如 API 调用、数据库导出和日志文件
2. 讨论实时数据摄取的技术和工具，如 Apache Kafka 和 AWS Kinesis

Data Pre-processing

1. 介绍数据清洗、数据标准化和数据丰富等预处理步骤

Data Transformation

1. 探讨数据转换的过程，包括 ETL（提取、转换、加载）和 ELT（提取、加载、转换）的概念和工具

Data Loading

1. 讨论数据加载的目的和方法，包括批量加载和流式加载

Data Visualization

1. 探讨数据可视化的重要性，并介绍常用的数据可视化工具和库

Data Pipeline and Automation