数据工程全栈班将通过3个月的课程学习+项目实践带你学会利用Python分析数据，利用AWS云服务搭建数据工程项目，使用机器学习和数据建模来处理和分析海量数据。
什么是数据工程？
数据工程是指面向不同计算平台和应用环境，使用信息系统设计，开发和评价的工程化技术和方法，一般被广泛应用于数据的传输，转换和储存。像如何高效存储海量的数据，利用实时数据反馈用户状况，以及利用机器学习来实现精准推荐等都是数据工程所研究的方向。
什么是数据工程师？
数据工程师在大数据时代或者被称为数据架构师更准确，工作的重点更偏向于数据架构，计算，数据存储，数据流，数据库设计等方向。因此数据工程师会对编程要求更高一点。
数据工程师的工作内容
数据工程师就像餐厅的主厨一样，为了给大家呈现精美的菜肴，首先需要进货，购买一些蔬菜和鸡鸭鱼肉，而这些原始食材就相当于source data一样；
当通过不同的方式得到原数据后，DE需要通过各种方式处理好这些数据，就类似厨师需要给鱼刮刮鳞，鸡要去毛，肉要腌制等；初步处理完毕后，还要把各种食材切成不同的形状，所有这些食物材料的处理，就相当于data transformation和data cleansing；
食材处理完毕后，需要烹饪成菜肴，比如说有些菜需要蒸，有些菜需要炸，那么厨师就会以相应的方式去烹饪这道菜，这就类似于数据工程中有时候需要处理好的数据以dashboard的形式去展现出，有时候需要用处理好的数据去训练ml的model；
有些时候，处理好的数据不需要立刻做成菜肴，那么厨师就会把这些食材放进冰箱，这就相当于数据工程中的data backup操作 - 把处理好的数据先backup到某个地方，之后有product需要这些处理好的数据时，再拿出来用；
从原食材到最终呈现给顾客的这整个过程，就相当于把源数据变为数据产品的整个过程。作为主厨，还需要通过不同的方式，去收集食客的反馈，才可以改进菜肴的味道，这相当于在数据工程中，收集用户的反馈，并根据反馈来改进各个环节的数据操作；
数据工程师DE vs 数据分析师DA vs 数据科学家DS
数据分析师主要是负责收集处理数据以及对数据进行可视化展示，而数据工程师更多负责搭建数据结构，以及大量使用云技术与DevOps合作进行云端环境的搭建。数据科学家则对更注重于数据模型，机器学习以及数据挖掘等方面。
为什么要学数据工程？
大数据是眼下非常时髦的技术名词，随着大数据产业链的不断完善以及大数据本身价值在被不断地开发，数据方面的岗位不论在哪都有巨大的用人需求。根据澳洲最大的求职网站Seek统计，即使在疫情期间，Data Engineer仍然有4000+的职位虚位以待。作为一个高技术、高需求的新行业，数据工程师在澳洲的平均工资甚至达到了120k+。
而且由于数据需要长期维护，所以数据工程师工作相对稳定，但是无论是在澳洲还是在中国都没有一个完善的培养机制，通过培训的数据工程师会相对更受青睐。
什么是数据工程全栈项目班？
匠人学院的数据工程全栈项目班是全澳首创的大数据培训课程，已经帮助数百位学员拿到offer，课程由一线大厂导师结合匠人独特的培训4.0模式（直播授课+真实团队项目）来培养出技术过硬，以及有丰富实战经验的数据工程师。并且学生在两年内可以免费重听，享受终身视频免费学习。
在三个月内，一线大厂导师进行线上授课，为同学答疑解惑，让学生系统地掌握数据工程师的核心技术技能。除此之外，学生还会完成一个独立的个人项目及一个与DevOps合作的多角色团队大项目，将所学知识点应用于项目实战中去。
课程会主要分为基础知识学习，数据项目实战以及公司商业项目、简历内推三大阶段来提升学生个人能力，完美模拟真实工作内容及流程。
第一阶段：数据基础知识学习
一线大厂明星导师进行直播授课，系统进行数据工程核心技术的知识讲解，带领学生快速掌握企业级数据仓库搭建和构架，轻松应对公司面试和笔试。
第二阶段：商业级团队项目
有丰富实战经验的技术型人才在市场中更有竞争力。在课程内，学生会完成一个与DevOps合作的团队大项目，更加熟练掌握AWS云上数据库搭建流程，实现项目产品化的商业价值。
第三阶段：公司实习
结课后，学生可以选择参与匠人的内部商业项目开发，积累第一份数据工程师的职场经验，为你的简历面试增加更多的筹码。
为什么要学习数据工程全栈项目班？
由于目前大学并没有提供系统的培训，一般行业内的数据工程师都是由社会培训，并且企业更偏向于拥有丰富项目经验的数据工程师，就业门槛相对于数据分析师来说更高一些。而我们课程的导师都是来自各个行业，且经验丰富，通过他们的指导，可以快速获取Offer直通车的门票。
项目经验丰富，由团队精神的分析师是面试官的首选。匠人多角色团队项目的设计模式更贴合澳洲的真实职场环境，让学生提前熟悉数据工程师的日常工作流程，增加个人竞争力。这是自学没办法媲美的。而且随着匠人培训4.0模式的升级，得到越来越多的企业认可。目前已经与德勤，Servian等公司建立合作关系，能给优秀学员争取更多的内推机会。
数据工程全栈项目班亮点
1.一线大厂明星导师精心打造，进行直播面对面授课
课程导师均来自澳洲一线大厂，具备多年数据岗位从业经验，传授当下招聘市场需要的技术知识以及真实有效的行业经验
2.串联数据工程知识点，有效进行系统学习
数据工程的核心是如何把不同的工具，和技能串联在一起，不同的接口如何链接，这就需要一个系统化更高维度的学习。课程中涵盖了目前市面上对数据工程师求职所需的所有技能点。除了日常的直播授课外，还会有不定期的tutorial作为指导，帮助你加速理解知识点。课程中包括了如下的知识体系和内容：
数据库基础操作
帮助学生巩固基础知识，主要知识点包括数据库管理系统（DBMS）， 数据库查询语言SQL以及关系型数据库等。
数据存储
了解大数据的两大存储方式：数据仓库（Data Warehouse）和数据湖（Data Lake）。了解数据探索的几种方法。
大数据
带你了解大数据常用数据结构，并结合谷歌云服务GCP学习云端处理大数据的基本操作和可用服务。
数据建模&机器学习
掌握回归、支持向量机SVM、决策树等几种机器学习算法，了解真实工作中分析数据的流程，从需求分析、数据建模到获取结果
Python数据分析
学习使用Python进行数据分析，学习Python相关模块
数据可视化
学习利用Tableau可视化数据结果，并通过十多个不同案例掌握数据可视化的具体操作。
AWS部分
学习使用亚马逊云服务AWS的服务和功能，上手云端搭建数据工程，最实际、最有竞争力的行业必备技能
3.多角色团队大项目，模拟真实项目环境
学生会有机会与DevOps同学合作共同完成一个团队大项目，让学生更加快速的明确每个岗位的工作内容，而且可以促进大家的团队合作意识，如何与其他部门协同完成工作内容。模拟真实的公司项目Agile工作流程，可以更好的回答面试中的问题，并且可以在工作中游刃有余。
学生会参与完整的Pipeline搭建并与DevOps合作部署上线，实现用户预测系统的开发，并在期末向导师进行展示，获取宝贵的行业项目建议。
4.简历内推库
让学员“不仅仅是获得实习，更成为工作offer收割机”
简历内推库是一个特设的、专为我们的学员打造的数字化简历存储平台。在这里，每位学员的简历都经过专业导师的审核与优化，确保确保其准确、专业且符合行业标准。
5.优秀同学内推机会
匠人受到许多企业的认可，我们会根据学生项目完成质量及项目Tutor对学生的评价，对项目中表现优秀的同学进行优先内推。
数据工程全栈班和别的课程对比
学员真实Offer展示
自数据工程全栈班开班以来，有超200+同学进入澳洲各大公司如afterpay，Mecca和Thoughtworks等工作。以下为往届学生的部分offer展示。
课程适合人群
本课程专为IT/CS/DS/IS专业的毕业生和在校生设计，帮助学员跃升为掌握职场技能的数据工程师和数据科学家。
