澳洲第一个面向企业的数据工程师培训,掌握大数据整个流程
通过三个项目加强数据工程技术栈学习,个人项目+团队项目
数据工程的定义和重要性
数据工程与数据科学、数据分析的区别
数据工程师的职责和角色
数据工程师需要具备的技能
课程导师介绍
澳大利亚数据工程师就业市场概况
内容来源:Cici老师
文件读写
数据序列化与反序列化
使用 Python 处理各种数据格式
数据可视化
Private Project: 使用 Python 完成数据清洗
Git 基础
git init
创建新的Git仓库。基本操作
git clone
克隆远程仓库。git add
添加文件到暂存区,git commit
提交更改。git status
查看仓库状态,git log
查看提交历史。分支管理
git branch
创建新分支,git checkout
切换分支。git merge
合并分支。远程仓库的使用
git push
上传本地更改,git pull
更新本地仓库。origin
和upstream
。进阶操作
git checkout
、git revert
、git reset
撤销更改。git tag
创建标签进行版本标记。
本节内容来源:Sai Li老师
Linux 环境设置
基本的 Linux 命令
ls
, cp
, mv
, rm
, touch
mkdir
, rmdir
, cd
cat
, less
, head
, tail
find
, grep
文件系统和权限
chmod
, chown
软件安装与管理
apt
for Ubuntu, yum
or dnf
for Fedora)文本编辑
nano
**)vim
或vi
**编辑器基础进程管理
ps
, top
, htop
kill
, pkill
, killall
Linux 中的脚本编写
本节内容:
关系数据库管理系统 RDBMS 的 12 条规则
RDBMS 基础概念
关系代数 relational algebra
ER 模型案例讲解
数据库正则化 normalization
SQL 基础简介
内容来源:Haixin老师
数据库基础
数据库类型
数据库安装
SQL 语言基础
数据查询与操作
SQL 基础操作
子查询与连接操作
数据聚合与转换
实际案例分析与讨论
本节知识点:
partition by 的使用,如 :rank()over(partition by XXX order by XXX)
lead(XXX, 1)over(partition by XXXX order by XXXX)
lag(XXX, 1) over(partition by XXXX order by XXXX)
介绍亚马逊云服务 AWS
AWS 全球架构
AWS Region
AWS Availability Zone
创建 AWS 账号
Relational Database Service(RDS)的介绍
创建 RDS 实例
链接 RDS instance
IAM: Identity Access Management
例子: 熟悉 IAM 的功能
例子: Create a Billing Alarm
S3 介绍以及练习
数据库 Databases on AWS
关系数据库与非关系型数据库
OLTP vs OLAP
Elasticache 介绍
RDS:备份 back ups, Multi-AZ & Read Replicas,加密 encryption
RDS 代码演示
DynamoDB 介绍,AWS 上创建数据库实例
RedShift
关系型数据库 Aurora 及其架构
灾难恢复
内容来源:Liji Yu老师
介绍 Docker
Docker 基本操作
docker pull
**下载镜像docker run
**启动容器docker ps
**查看运行中的容器docker stop
**停止容器docker rm
和docker rmi
**删除容器和镜像Docker 镜像管理
docker build
**构建镜像docker images
**查看本地镜像介绍 EC2: Elastic Compute Cloud
AWS EBS 介绍
Lab: 启动我们的第一个 EC2 实例
安全组基础
负载均衡器理论
AWS Lambda 介绍
Lambda 与 RDS 集成
处理和转换数据
SNS 和 SQS 简介
SNS: Pub-Sub model, Topic, SNS Benefits
SQS: 解耦应用组件, 存储消息, 发送/检索消息, 标准队列和 FIFO 队列
SNS 与 SQS 的比较
通过控制台实践 SNS 和 SQS
通过 Lambda 实践 SNS 和 SQS
AWS Kinesis 简介
通过 Lambda 实践 Kinesis
本节内容:
VPC 简介(Virtual Private Cloud)
网络安全基础
AWS VPC 的定义和示例
图示讲解 VPC 整个框架
内部 IP 范围
VPC Peering 简介
子网(Subnet)
互联网网关(Internet Gateway)
路由表(Route Table)
网络地址转换(NAT)网关和弹性 IP
VPC 端点(VPC Endpoints)
VPC wrap-up
本节内容:
Kinesis 简介
为 Kinesis 配置生产者 Lambda
为 Kinesis 配置消费者 Lambda
Kinesis Firehose
Athena, Redshift Spectrum, SageMaker 简介
AWS CloudFormation 简介
介绍 Serverless 的定义和优点
在 terminal 安装 Serverless
运行 Serverless
本节内容:
创建第一个 Serverless 项目
解析初始项目的默认代码:handler.py 和serverless.yml
实施部署方法
serverless deploy –aws-profile profileName
案例讲解
两种方法实现 AWS 案例
本节内容:
Batch Processing and Real Time Processing
Data Extraction/Ingestion
Data Pre-processing
Data Transformation
Data Loading
Data Visualization
Data Pipeline and Automation
Data Lake 与 Data Warehouse 的概念:
Amazon Redshift 基础:
Amazon S3 与 Lake Formation:
案例演示:数据仓库的构建过程:
图示讲解:什么是数据仓库data warehouse
基础概念:
Integration via conformed dimensions
学习SCD: slowly changing dimension(type1,type2,type3)
学习使用Linux命令
本节内容:
本节知识点:(项目辅导)
本节知识点:(项目辅导)
本节内容(项目辅导):
生产级机器学习概述:
SageMaker 部署介绍:
数据工程大项目最后阶段:实际部署操作:
股票代码小作业讲解:
大型项目汇报要求和准备:
本节内容:(项目辅导)
本节内容:
大数据主要概念:
HDFS 概念
介绍 Yarn scheduler
介绍 Hive metastore
GCP google cloud platform 实际案例操作
本节内容:
Spark 安装
Spark 核心概念
Spark 的主要特点
Spark 架构
Spark 应用场景的介绍
RDD 应用
本节内容:
Spark SQL
Spark Dataset
1.了解什么是数据分析
2.介绍Docker
介绍几种常用数据分析工具
Tableau 介绍
案例分析
"统计学习与模型应用:从线性回归到树基模型"
统计学习及模型准确度评估:
线性模型选择及正则化:
树基模型(Tree-Based Models):
支持向量机(Support Vector Machine):
无监督学习:层次聚类方法:
Xgboost 模型原理及参数调整:
数据工程(DE)大项目讲解:
Agile 的由来、开发宣言、原则、主要关注点,什么是价值
Scrum 框架的各个流程概述,“3355”方法论
结合实际工作讲解各个流程:scrum planning,daily standup,scrum board,scrum review meeting,spring retrospective meeting
班级进行模拟 retrospective meeting,回顾课程至今的成果与不足
怎样写 backlog,怎样写用户故事:“完成”的定义,故事拆分和故事估算
怎样改进流程、提高效率,为什么企业需要 T 型人才
介绍精益方法和 Kanban,实际使用中 Kanban 和 Scrum 的结合
Project 3 分组
介绍 Sportify
视频介绍:
来自微软曾获得 MVP 的 Ray 老师,讲述以微软 Windows 交付使用 Agile 的流程
课程简述:
1. 澳洲就业行情介绍
- Permanent/contract role介绍
- 澳洲获取工作的方式结束
- 招聘信息解读
2. Glassdoor: https://www.glassdoor.com.au(怎么看别人对各个公司的评价;也会有面试的问题分享)
3. LinkedIn:招聘者,应聘者怎么用
4. 职场规划
5. 老师自身投简历经历介绍
6. 面试
- 澳洲的面试流程介绍
- 面试官的视角(会从哪些方面问应聘者,实际是在考核应聘者哪个方面等)
- 应聘者的视角(从哪些方面去突出自己,如何使用STAR方法)
7. 简历撰写讲解
8. 课后作业
1. 校招和社招的要求,entry level vs junior level vs mid level
2. 职场规划,沟通能力的重要性,team match 的重要性
3. 澳洲公司情况,产品方向 vs 咨询方向
4. 找工作网站的区别、建议
5. 工作类型,permanent vs contractor,薪资期待,福利待遇
6. 获取工作的方式:meetup、猎头、内推,如何区分和利用猎头,内推的作用
7. 如何经营 linkedin:提高 SEO 和可读性、扩大人脉、利用 open network、写好 profile
8. 招聘流程,怎样投简历,怎样说未来计划,怎样说 notice period
9. 怎样写简历,LMS 简历制作功能,怎样罗列自己的技能,怎样把项目经历写进简历
10. 求职信的作用,怎样写求职信
"澳洲公司全景:行业领袖与职业机遇"
"就业方向解析:产品与咨询服务"
"澳洲企业招聘全攻略:三大关键阶段深度解析"
1.简历和求职信的制作与提交:学习如何撰写针对澳洲市场的高效简历和求职信,包括格式、内容和展现个人特色的技巧。
2.面试的全面准备:深入分析招聘过程中的各种面试类型,包括初步面试、在线评估、技术面试和管理层面试。提供准备技巧、常见问题解答和成功策略。
3.Offer 阶段的策略:探讨如何在收到工作邀约时进行有效的沟通和谈判,包括薪资、福利和其他工作条件。
清晰的格式和布局:使用易于阅读的字体和清晰的布局。保持简历的长度适中,通常不超过两页。
个人信息和联系方式:包括你的姓名、职业头衔(如软件工程师、系统管理员等)、联系电话、电子邮箱和 LinkedIn 个人页面链接。
专业摘要或目标声明:简洁地概述你的职业背景、技能和你寻求的职位类型。这部分应该具有吸引力且针对你申请的职位量身定制。
技术技能:明确列出你的技术技能,如编程语言(例如 Java、Python)、框架(如 Spring、React)、数据库(如 MySQL、MongoDB)和工具(如 Git、Docker)。根据求职职位的要求来调整技能列表。
工作经验:按时间顺序列出你的工作经历,包括公司名称、职位、工作时间和职责描述。突出具体成就和使用的技术。
项目经历:如果你有相关的项目经验(包括学校项目、个人项目或自由职业项目),请列出来,说明你的角色、使用的技术和项目成果。
教育背景:提供你的最高学历信息,包括学校名称、学位、专业和毕业时间。如果你是新毕业生,可以更详细地说明你的教育背景。
证书和培训:如果你有相关的行业证书(如 AWS Certified Solutions Architect、Cisco 的 CCNA)或完成了重要的专业培训,务必列出。
其他信息:如语言能力、志愿者经验、获奖情况等,如果它们对你申请的职位有帮助,可以选择性地加入。
定制你的简历:针对每个职位调整你的简历,确保它符合职位描述中的关键字和要求。
校对和审核:在提交前,请仔细校对你的简历,确保没有拼写和语法错误。有可能的话,让你的同事或朋友帮你复查。
"简历制作艺术:重点、加减分项及编写原则"
简历的重点内容:指导您如何突出简历中的重点内容,包括职业经历、技能、成就和教育背景,确保雇主能够快速抓住您的核心优势。
避免的简历减分项:教您识别和避免简历中的常见错误和不利因素,如过度冗长、格式不当或信息不准确等。
简历的加分元素:提供策略和建议,帮助您在简历中加入能够提升吸引力的元素,如特定技能证明、相关项目经验或突出成就等。
编写简历的基本原则:探讨在编写简历时应遵循的基本原则,包括清晰性、专业性和针对性,以及如何根据目标职位定制简历。
"利用 ChatGPT 提升简历撰写技巧:指南与实践"
"LinkedIn 职业建设:完善个人资料与网络拓展"
"求职成功攻略:职位描述解析、面试准备与公司研究"
这个课程旨在全面指导您如何在求职过程中取得成功。本课程将包括:
地址
Level 10b, 144 Edward Street, Brisbane CBD(Headquarter)Level 2, 171 La Trobe St, Melbourne VIC 3000四川省成都市武侯区桂溪街道天府大道中段500号D5东方希望天祥广场B座45A13号Business Hub, 155 Waymouth St, Adelaide SA 5000Disclaimer
JR Academy acknowledges Traditional Owners of Country throughout Australia and recognises the continuing connection to lands, waters and communities. We pay our respect to Aboriginal and Torres Strait Islander cultures; and to Elders past and present. Aboriginal and Torres Strait Islander peoples should be aware that this website may contain images or names of people who have since passed away.
匠人学院网站上的所有内容,包括课程材料、徽标和匠人学院网站上提供的信息,均受澳大利亚政府知识产权法的保护。严禁未经授权使用、销售、分发、复制或修改。违规行为可能会导致法律诉讼。通过访问我们的网站,您同意尊重我们的知识产权。 JR Academy Pty Ltd 保留所有权利,包括专利、商标和版权。任何侵权行为都将受到法律追究。查看用户协议
© 2017-2024 JR Academy Pty Ltd. All rights reserved.
ABN 26621887572