直播互动中级video-intro视频简介

数据工程全栈项目班

澳洲第一个面向企业的数据工程师培训,掌握大数据整个流程。通过3个项目贯穿和加强数据工程技术栈学习,AWS项目,300w团队项目,1个实习项目。包括数据工程师实习,参与20多个Developers团队里,与DevOps Engineer配合,实现数据云,CI/CD,以及更多数据Data Ops Production过程

AWSSnowflakeHadoopSparkGitPythonServerlessScikit LearnDatabricksTableauRKaggleSQLAgileETL
匠人培训班

限时优惠

$4500
  • 简历增添3个项目

    1个AWS项目,1个团队大项目,1个实习经验,你的简历超过同辈同学

  • 中澳就业两手抓

    大数据时代,需求量最大的岗位,成为大数据工程师,拿高薪,迎接未来AI时代

  • 结合AWS+DevOps

    结合AWS云技术,与DevOps Engineer配合,加强数据工程师工程化能力

  • 导师+Tutor答疑团

    导师和Tutor全程答疑,Lecture+Tutorial,深度挖掘数据工程内容

appropriate memeber icon

适合人群

IT/CS毕业生、在校生

数据科学在校生、毕业生

IS专业毕业生

想从事数据工程的数据分析师

数据工程全栈项目班◆实战项目

subtitle-strip

实战演练,丰富你的简历!学了都有用!

subtitle-strip
个人项目:AWS数据工程实践 -- 数据仓库,数据可视化

个人项目:AWS数据工程实践 -- 数据仓库,数据可视化

从数据项目分析开始构建数据仓库,期间包括需求分析,架构设计,模型实现,数据可视化,最终通过整个项目的实践,了解到企业级数据仓库的构建过程,以及重点和难点,并且轻松应对类似公司面试,笔试题的作答。学生自由选择相关技术栈,比如:Sql在Snowflake上; Pyspark在databricks; lambda,mysql,Redshift,以及Snowpipe,Snowflake,Matilion等

 

核心技术:

1. 数据仓库的基本知识

2. 数据仓库的体系架构

3. 数据仓库的实现

4. 维度建模

5. 数据分析

... 显示更多
AWS
Data Warehouse
Data Analyst
Snowflake
Redshift
Pyspark
Databricks
Lambda
Snowpipe
Matillion
团队大项目:三百万网络零售商eCommerce数据

团队大项目: 三百万网络零售商eCommerce数据

项目介绍

此项目的商业目标是通过分析和处理网络零售商客户的三百多万条订单和销售数据,搭建一个推荐系统来辅助产品的市场销售。这个项目非常全面的涵盖了一个商业数据项目最实用的内容:从需求分析做起,一直到数据处理,数据架构搭建,机器建模和可视化。通过这个项目学生可以学习到如何在AWS云上搭建数据库以及数据流程,用大数据工具处理和转换数据,分析数据和搭建模型,最后把项目产品化并且创造价值。你将会了解到如何在AWS 上用s3搭建数据湖,用AWS athena和lambda function去处理数据,然后用stepfunction和spark去搭建整个流程,最后用sagemaker和api gateway去建立一个数据产品的app。此项目包含了多个数据文件,处理和建模的过程中用到了很多云上的解决方案,项目综合性很高,有很好的广度和深度,考验了学生如何处理在真实的商业环境中所遇到的问题。学生们在项目中所汲取的经验可以直接被应用到工作中。

... 显示更多
Data Lake
数据流程协调整合
数据模型构建
大数据引擎应用
数据产品开发
机器学习模型构建
在线/离线推荐
实习项目:匠人个性化推荐系统Recommendation System

匠人千人千面推荐系统

在匠人已经上线的项目里,针对几千位注册用户做个性化资源推荐,做到“千人千面“,个性化推荐,参照使用今日头条推荐系统。盘活整个匠人的工作,面试经验,干货视频,课程等,形成组合拳,整合现有资源。提升平台活性,为用户提供更高效的信息获取,以及知识传递效率。使用独立的独立系统,实习生需要跟DevOps一起配合搭建起Infrastructure,实现推荐引擎。从Mongodb,通过Lambda获取数据存到AWS S3,依托S3,进入Spark等推荐引擎,使用Machine Learning,针对不同用户做个性化推荐,并且通过API Gateway对前端和后端交付使用

... 显示更多
AWS Lambda
Customer Segment
AWS API Gateway
Jenkins
Mongodb
Dynamodb
CI/CD
Bitbucket
Microservice
Docker
AWS ECS
Jupyter
Spark
video player close icon

数据工程全栈项目班视频

课程视频, 学员故事, 匠人公开课

墨大学姐分享澳洲数据工程师的工作日常, 了解数据工程师到底做什么 | 澳洲IT | 数据工程 | 澳洲求职分享会07
墨大学姐分享澳洲数据工程师的工作日常, 了解数据工程师到底做什么 | 澳洲IT | 数据工程 | 澳洲求职分享会07
澳洲求职分享会04 | 电气工程师到数据工程师的转行之路 | 数据工程 找工作
澳洲求职分享会04 | 电气工程师到数据工程师的转行之路 | 数据工程 找工作
澳洲求职分享会03 | 如何在塔斯马尼亚找到高薪的数据工程师工作
澳洲求职分享会03 | 如何在塔斯马尼亚找到高薪的数据工程师工作
澳洲求职 | 我是如何一步一步拿到数据工程师offer的?
澳洲求职 | 我是如何一步一步拿到数据工程师offer的?
澳洲Data Analyst数据分析师,都有特点?IS&DS专业学生的另一条热门求职方向
澳洲Data Analyst数据分析师,都有特点?IS&DS专业学生的另一条热门求职方向
澳洲UNSW学姐拿到数据工程offer, 寻找工作经验全分享!国内和澳洲工作环境有何差异,如何在澳洲工作家庭两不误?
澳洲UNSW学姐拿到数据工程offer, 寻找工作经验全分享!国内和澳洲工作环境有何差异,如何在澳洲工作家庭两不误?
数据工程班5期项目路演:Recommendation System Design & Architecture by Yan&Johnson
数据工程班5期项目路演:Recommendation System Design & Architecture by Yan&Johnson
数据工程班5期项目路演:Instacart Market Basket Analysis  by Sophie & Justin
数据工程班5期项目路演:Instacart Market Basket Analysis by Sophie & Justin
什么是数据工程?带你了解数据工程师的职能
什么是数据工程?带你了解数据工程师的职能
零数据背景,疫情期间成功从通讯工程转数据分析,拿到本地公司offer~本期学员故事分享主人公--Kevin Chen
零数据背景,疫情期间成功从通讯工程转数据分析,拿到本地公司offer~本期学员故事分享主人公--Kevin Chen
疫情下,拿到澳洲四大银行CBA offer,成功转行数据分析师!如何数据求职做准备?---数据工程全栈班学员Kevin采访
疫情下,拿到澳洲四大银行CBA offer,成功转行数据分析师!如何数据求职做准备?---数据工程全栈班学员Kevin采访
数据工程师如何在澳洲拿到工作经验 | 数据工程项目集训介绍,获得工作经验
数据工程师如何在澳洲拿到工作经验 | 数据工程项目集训介绍,获得工作经验
数据工程(大数据分析和机器学习+数据分析与建模+数据工程与AWS+数据仓库)
数据工程(大数据分析和机器学习+数据分析与建模+数据工程与AWS+数据仓库)
数据工程(大数据分析和机器学习+数据分析与建模+数据工程与AWS+数据仓库)
数据工程(大数据分析和机器学习+数据分析与建模+数据工程与AWS+数据仓库)
在澳洲,如何找到数据工程师工作 -- 数据工程全栈班学员分享
在澳洲,如何找到数据工程师工作 -- 数据工程全栈班学员分享
在澳洲,成为数据工程师需要什么技能——Leo
在澳洲,成为数据工程师需要什么技能——Leo
澳洲求职 | 澳洲数据分析, 数据工程师, 数据科学家行业解析, 并且有基于AWS的Data pipeline展示
澳洲求职 | 澳洲数据分析, 数据工程师, 数据科学家行业解析, 并且有基于AWS的Data pipeline展示
线上公开课之数据全栈(DA+DE+DS)入门攻略
线上公开课之数据全栈(DA+DE+DS)入门攻略
数据科学在市场营销当中的应用, 如何利用数据科学优化网络营销的资金分配
数据科学在市场营销当中的应用, 如何利用数据科学优化网络营销的资金分配
数据分析和数据科学系列公开课之数据工程方向 IT匠人圈
数据分析和数据科学系列公开课之数据工程方向 IT匠人圈
查看更多

你将获得

subtitle-strip

升级技能,扩展职业前景,学习永无止境

subtitle-strip
1

通过3个项目增添简历

  • 增强数据工程师能力
  • 学习AWS,Spark,Snowflake等必备技能
  • AWS项目+1个团队项目+1个实习项目,增添简历项目经验
  • 深度学习云大数据技术,把握未来公司数据技术转型方向
2

成为新时代数据工程师

  • 获得数据工程师必备技能
  • 获得高薪以及高需求的数据工程师
  • 通过3个项目提高简历竞争力
  • 4位一线大厂老师高强度解答课程问题
  • 超多知识点技术结合完成项目,一切以公司招聘要求为目标
3

面向公司岗位需求培训

  • 对优秀学员提供Reference帮助
  • 老师求职辅导答疑,简历,面试等
  • 结合澳洲各主流公司真实面试题

Course Introduction

课程介绍

数据工程全栈班将通过3个月的课程学习+项目实践带你学会利用Python分析数据,利用AWS云服务搭建数据工程项目,使用机器学习和数据建模来处理和分析海量数据。

什么是数据工程

大数据是眼下非常时髦的技术名词,与此同时自然也催生出了一些与大数据处理相关的职业,通过对数据的挖掘分析来影响企业的商业决策。

随着大数据产业链的不断完善以及大数据本身价值在被不断地开发,数据方面的岗位不论在哪都有巨大的用人需求。根据澳洲最大的求职网站Seek统计,即使在疫情期间,Data Engineer仍然有4000+的职位虚位以待。

作为一个高技术、高需求的行业,数据岗在澳洲的平均工资达到了120k

课程适合人群

本课程专为IT/CS/DS/IS专业的毕业生和在校生设计,帮助学员跃升为掌握职场技能的数据工程师和数据科学家。

本课程中你将会获得

该课程包含超过100小时的直播课程,并可以无限期回看Recording。同时课程包含4个数据分析项目,完成这些项目后你的简历会收获满满的项目经验和Skill Set。

课程内容

课程以直播形式授课,并穿插数据分析项目帮助你掌握课堂所学知识。除每周的授课课程以外,还有Tutorial环节帮你巩固本周所学知识。此外,课程还赠送Workshop和就业指导课程,提升你的就业竞争力。

课程内容共包含以下方向:

数据库基础

帮助学生巩固基础知识,主要知识点包括数据库管理系统(DBMS), 数据库查询语言SQL以及关系型数据库等。

数据存储

了解大数据的两大存储方式:数据仓库(Data Warehouse)和数据湖(Data Lake)。了解数据探索的几种方法。

大数据

带你了解大数据常用数据结构,并结合谷歌云服务GCP学习云端处理大数据的基本操作和可用服务。

数据建模&机器学习

掌握回归、支持向量机SVM、决策树等几种机器学习算法,了解真实工作中分析数据的流程,从需求分析、数据建模到获取结果

Python数据分析

学习使用Python进行数据分析,学习Python相关模块

数据可视化

学习利用Tableau可视化数据结果,并通过十多个不同案例掌握数据可视化的具体操作。

AWS部分

学习使用亚马逊云服务AWS的服务和功能,上手云端搭建数据工程,最实际、最有竞争力的行业必备技能

DevOps部分

通过在实习项目里,与20多为developer,以及多名DevOps一起,了解DevOps工作,进入Agile Team,Code Review。参与到如何把一个数据服务,比如Customer Segament,Sagemaker,lambda,spark等,加到公司的现成架构里,如何区分不同的environment开发,ec2,lambda,s3,api gateway等怎么样能够自动化部署。

课程导师

subtitle-strip

明星导师团队,带你升级打怪,成为行业大牛

subtitle-strip
Gucheng Zhu
Gucheng Zhu
数据工程师查看导师Linkedin

CBA银行数据工程师。早年留学澳洲,蹉跎中练出一身本领。资深数据工程师,10年本地工作经验,非常熟悉澳洲市场(Tier1 – Tier 3)的需求。拥有良好的技术、业务与交际能力,经常被上层委派指导Junior。现任澳洲知名银行大数据工程师,目前专注于企业级Big Data, GDW 2.0和数据科学产品的开发与整合。

  • Common Wealth
Chao Mu
Chao Mu
Managing Consultant查看导师Linkedin

目前就职于Altis Consulting,担任Managing Consultant。新南威尔士大学(UNSW)信息与技术硕士,曾就任于Contino,担任高级数据工程师。拥有6年+大数据开发经验,精通数据处理全部流程(数据收集,清洗,验证,转换,存储,建立数据仓库,数据分析,报表可视化等等),致力于运用当下最热门,最前沿的数据处理技术和平台解决公司的业务需求,发现新的商机,精通AWS和Azure云服务下的大数据平台架构

Leo
Leo
资深数据工程师查看导师Linkedin

资深数据工程师。本科毕业于中山大学应用数学系,硕士毕业于墨尔本莫纳什大学商业信息系统系。本人从数据库开发做起,非常熟悉在Linux环境下的数据开发和设计,对大数据和NoSQL的应用也很有心得。最近几年职业方向逐渐从数据库开发转到了数据分析和软件开发,主要包括在AWS环境下大数据的处理和机器学习模型的创建,数据库的应用也逐渐转向了云计算。 现在在麦考瑞银行做数据科学家,主要从事银行数据的分析和处理,还有机器学习模型的创建。现在的兴趣是深度学习的应用和开发。

  • Macquarie Group
Ke Hu
Ke Hu
高级模型分析师查看导师Linkedin

现任某澳洲知名银行高级模型分析师,UNSW通信与数据分析博士。曾在CSIRO担任数据科学家,也曾在中国移动公司担任项目经理。在Team招聘过程中负责参与多次面试,拥有丰富的面试经验,并对转行到数据分析领域与职业规划有着独特的见解和经验。

  • Common Wealth

课程知识点

subtitle-strip

知识点覆盖全面,学习更有深度, 数据工程全栈项目班技术栈

subtitle-strip

数据全栈

DBMS

DBMS

ER Model

ER Model

Snowflake

Snowflake

AWS

AWS

Data Engineering Pipeline

Data Engineering Pipeline

Data Wrangling

Data Wrangling

Python

Python

Jupyter

Jupyter

Pandas

Pandas

Power BI

Power BI

SQL

SQL

Agile

Agile

Prototype

Prototype

Linux

Linux

Machine Learning

Machine Learning

Statistical Modelling

Statistical Modelling

Exploratory Data Analysis

Exploratory Data Analysis

XGBoost

XGBoost

Data Visualisation

Data Visualisation

Spark

Spark

Hadoop

Hadoop

Git

Git

Datalake

Datalake

Kaggle

Kaggle

Scikit Learn

Scikit Learn

Databricks

Databricks

Data Warehouse

Data Warehouse

Tableau

Tableau

R

R

ETL

ETL

AWS-云大数据

AWS EC2

AWS EC2

AWS S3

AWS S3

AWS RDS

AWS RDS

Redshift

Redshift

AWS Lambda

AWS Lambda

AWS VPC

AWS VPC

Cloudformation

Cloudformation

AWS Athena

AWS Athena

AWS Glue

AWS Glue

Step Functions

Step Functions

AWS Sagemaker

AWS Sagemaker

AWS SQS

AWS SQS

AWS SNS

AWS SNS

Serverless

Serverless

Course Testimonial

数据工程全栈项目班·学员offer

许多优秀学员已通过该课程拿到企业offer

background
Wenlu
背景&专业:
新南威尔士大学
参与课程:
数据工程全栈项目班
background
孙同学
背景&专业:
新南威尔士大学
参与课程:
数据工程全栈班第5期
background
Alex
背景&专业:
参与课程:
数据工程全栈班第5期
background
张同学
背景&专业:
昆士兰大学
参与课程:
数据工程全栈项目班
background
Frank Wu
背景&专业:
墨尔本大学
参与课程:
数据工程全栈班第7期
background
Yan
背景&专业:
卧龙岗大学
参与课程:
数据工程全栈班第6期
background
Stone
背景&专业:
塔斯马尼亚大学
参与课程:
数据工程全栈班第7期
background
Tu T*
背景&专业:
参与课程:
数据工程全栈项目班

相关视频

subtitle-strip

观看课程公开课视频,听听真实学员的声音

subtitle-strip

学员采访 · 学长学姐的逆袭之路

墨大学姐分享澳洲数据工程师的工作日常, 了解数据工程师到底做什么 | 澳洲IT | 数据工程 | 澳洲求职分享会07
female

Corrine

澳洲求职分享会04 | 电气工程师到数据工程师的转行之路 | 数据工程 找工作
male

Frank

澳洲求职分享会03 | 如何在塔斯马尼亚找到高薪的数据工程师工作
male

Stone

在塔斯马尼亚拿到Servian全职数据工程师工作

项目展示 · 优秀学员的成果

数据工程班5期项目路演:Recommendation System Design & Architecture by Yan&Johnson
male

项目团队: Recommendation System

数据工程班5期项目路演:Instacart Market Basket Analysis  by Sophie & Justin
male

项目团队: Instacart Market Basket Analysis

公开课视频

澳洲Data Analyst数据分析师,都有特点?IS&DS专业学生的另一条热门求职方向
澳洲Data Analyst数据分析师,都有特点?IS&DS专业学生的另一条热门求职方向
作者:
什么是数据工程?带你了解数据工程师的职能
什么是数据工程?带你了解数据工程师的职能
作者: undefined
零数据背景,疫情期间成功从通讯工程转数据分析,拿到本地公司offer~本期学员故事分享主人公--Kevin Chen
零数据背景,疫情期间成功从通讯工程转数据分析,拿到本地公司offer~本期学员故事分享主人公--Kevin Chen
作者:

数据工程全栈项目班◆学习计划推荐

subtitle-strip

加入新班or选择插班, 灵活规划你的学习时间

subtitle-strip
开课倒计时:

已经开课

数据工程全栈班第8期

开课时间:2021/08/29

主导师阵容:

限时优惠$4500

原价:$5200

授课方式:小班授课 + 线上直播 + 线下授课

课程好评:99%

立即插班

开课倒计时:

即将开课

数据工程全栈班第9期

开课时间:2021/12/04

主导师阵容:

限时优惠$4500

原价:$5200

授课方式:小班授课 + 线上直播 + 线下授课

课程好评:99%

立即报名

niuxiaojiang
课程介绍

收起

rocket