数据工程全栈班将通过3个月的课程学习+项目实践带你学会利用Python分析数据,利用AWS云服务搭建数据工程项目,使用机器学习和数据建模来处理和分析海量数据。
什么是数据工程?
数据工程是指面向不同计算平台和应用环境,使用信息系统设计,开发和评价的工程化技术和方法,一般被广泛应用于数据的传输,转换和储存。像如何高效存储海量的数据,利用实时数据反馈用户状况,以及利用机器学习来实现精准推荐等都是数据工程所研究的方向。
什么是数据工程师?
数据工程师在大数据时代或者被称为数据架构师更准确,工作的重点更偏向于数据架构,计算,数据存储,数据流,数据库设计等方向。因此数据工程师会对编程要求更高一点。
数据工程师的工作内容
数据工程师就像餐厅的主厨一样,为了给大家呈现精美的菜肴,首先需要进货,购买一些蔬菜和鸡鸭鱼肉,而这些原始食材就相当于source data一样;
当通过不同的方式得到原数据后,DE需要通过各种方式处理好这些数据,就类似厨师需要给鱼刮刮鳞,鸡要去毛,肉要腌制等;初步处理完毕后,还要把各种食材切成不同的形状,所有这些食物材料的处理,就相当于data transformation和data cleansing;
食材处理完毕后,需要烹饪成菜肴,比如说有些菜需要蒸,有些菜需要炸,那么厨师就会以相应的方式去烹饪这道菜,这就类似于数据工程中有时候需要处理好的数据以dashboard的形式去展现出,有时候需要用处理好的数据去训练ml的model;
有些时候,处理好的数据不需要立刻做成菜肴,那么厨师就会把这些食材放进冰箱,这就相当于数据工程中的data backup操作 - 把处理好的数据先backup到某个地方,之后有product需要这些处理好的数据时,再拿出来用;
从原食材到最终呈现给顾客的这整个过程,就相当于把源数据变为数据产品的整个过程。作为主厨,还需要通过不同的方式,去收集食客的反馈,才可以改进菜肴的味道,这相当于在数据工程中,收集用户的反馈,并根据反馈来改进各个环节的数据操作;
数据工程师DE vs 数据分析师DA vs 数据科学家DS
数据分析师主要是负责收集处理数据以及对数据进行可视化展示,而数据工程师更多负责搭建数据结构,以及大量使用云技术与DevOps合作进行云端环境的搭建。数据科学家则对更注重于数据模型,机器学习以及数据挖掘等方面。
为什么要学数据工程?
大数据是眼下非常时髦的技术名词,随着大数据产业链的不断完善以及大数据本身价值在被不断地开发,数据方面的岗位不论在哪都有巨大的用人需求。根据澳洲最大的求职网站Seek统计,即使在疫情期间,Data Engineer仍然有4000+的职位虚位以待。作为一个高技术、高需求的新行业,数据工程师在澳洲的平均工资甚至达到了120k+。
而且由于数据需要长期维护,所以数据工程师工作相对稳定,但是无论是在澳洲还是在中国都没有一个完善的培养机制,通过培训的数据工程师会相对更受青睐。
什么是数据工程全栈项目班?
匠人学院的数据工程全栈项目班是全澳首创的大数据培训课程,已经帮助数百位学员拿到offer,课程由一线大厂导师结合匠人独特的培训4.0模式(直播授课+真实团队项目)来培养出技术过硬,以及有丰富实战经验的数据工程师。并且学生在两年内可以免费重听,享受终身视频免费学习。
在三个月内,一线大厂导师进行线上授课,为同学答疑解惑,让学生系统地掌握数据工程师的核心技术技能。除此之外,学生还会完成一个独立的个人项目及一个与DevOps合作的多角色团队大项目,将所学知识点应用于项目实战中去。
课程会主要分为基础知识学习,数据项目实战以及公司商业项目、简历内推三大阶段来提升学生个人能力,完美模拟真实工作内容及流程。
第一阶段:数据基础知识学习
一线大厂明星导师进行直播授课,系统进行数据工程核心技术的知识讲解,带领学生快速掌握企业级数据仓库搭建和构架,轻松应对公司面试和笔试。
第二阶段:商业级团队项目
有丰富实战经验的技术型人才在市场中更有竞争力。在课程内,学生会完成一个与DevOps合作的团队大项目,更加熟练掌握AWS云上数据库搭建流程,实现项目产品化的商业价值。
第三阶段:公司实习
结课后,学生可以选择参与匠人的内部商业项目开发,积累第一份数据工程师的职场经验,为你的简历面试增加更多的筹码。
为什么要学习数据工程全栈项目班?
由于目前大学并没有提供系统的培训,一般行业内的数据工程师都是由社会培训,并且企业更偏向于拥有丰富项目经验的数据工程师,就业门槛相对于数据分析师来说更高一些。而我们课程的导师都是来自各个行业,且经验丰富,通过他们的指导,可以快速获取Offer直通车的门票。
项目经验丰富,由团队精神的分析师是面试官的首选。匠人多角色团队项目的设计模式更贴合澳洲的真实职场环境,让学生提前熟悉数据工程师的日常工作流程,增加个人竞争力。这是自学没办法媲美的。而且随着匠人培训4.0模式的升级,得到越来越多的企业认可。目前已经与德勤,Servian等公司建立合作关系,能给优秀学员争取更多的内推机会。
数据工程全栈项目班亮点
1.一线大厂明星导师精心打造,进行直播面对面授课
课程导师均来自澳洲一线大厂,具备多年数据岗位从业经验,传授当下招聘市场需要的技术知识以及真实有效的行业经验
2.串联数据工程知识点,有效进行系统学习
数据工程的核心是如何把不同的工具,和技能串联在一起,不同的接口如何链接,这就需要一个系统化更高维度的学习。课程中涵盖了目前市面上对数据工程师求职所需的所有技能点。除了日常的直播授课外,还会有不定期的tutorial作为指导,帮助你加速理解知识点。课程中包括了如下的知识体系和内容:
数据库基础操作
帮助学生巩固基础知识,主要知识点包括数据库管理系统(DBMS), 数据库查询语言SQL以及关系型数据库等。
数据存储
了解大数据的两大存储方式:数据仓库(Data Warehouse)和数据湖(Data Lake)。了解数据探索的几种方法。
大数据
带你了解大数据常用数据结构,并结合谷歌云服务GCP学习云端处理大数据的基本操作和可用服务。
数据建模&机器学习
掌握回归、支持向量机SVM、决策树等几种机器学习算法,了解真实工作中分析数据的流程,从需求分析、数据建模到获取结果
Python数据分析
学习使用Python进行数据分析,学习Python相关模块
数据可视化
学习利用Tableau可视化数据结果,并通过十多个不同案例掌握数据可视化的具体操作。
AWS部分
学习使用亚马逊云服务AWS的服务和功能,上手云端搭建数据工程,最实际、最有竞争力的行业必备技能
3.多角色团队大项目,模拟真实项目环境
学生会有机会与DevOps同学合作共同完成一个团队大项目,让学生更加快速的明确每个岗位的工作内容,而且可以促进大家的团队合作意识,如何与其他部门协同完成工作内容。模拟真实的公司项目Agile工作流程,可以更好的回答面试中的问题,并且可以在工作中游刃有余。
学生会参与完整的Pipeline搭建并与DevOps合作部署上线,实现用户预测系统的开发,并在期末向导师进行展示,获取宝贵的行业项目建议。
4.简历内推库
让学员“不仅仅是获得实习,更成为工作offer收割机”
简历内推库是一个特设的、专为我们的学员打造的数字化简历存储平台。在这里,每位学员的简历都经过专业导师的审核与优化,确保确保其准确、专业且符合行业标准。
5.优秀同学内推机会
匠人受到许多企业的认可,我们会根据学生项目完成质量及项目Tutor对学生的评价,对项目中表现优秀的同学进行优先内推。
数据工程全栈班和别的课程对比
学员真实Offer展示
自数据工程全栈班开班以来,有超200+同学进入澳洲各大公司如afterpay,Mecca和Thoughtworks等工作。以下为往届学生的部分offer展示。
课程适合人群
本课程专为IT/CS/DS/IS专业的毕业生和在校生设计,帮助学员跃升为掌握职场技能的数据工程师和数据科学家。