前几天帮一个学弟看简历,他问我现在什么方向比较好找工作。
我去SEEK上搜了一下,给我惊呆!Data Engineer,2279个职位空缺。
这是不是搜错了?怎么这么多?我再看看薪资。
Salaryexpert的数据显示,澳洲Data Engineer的平均年薪是$154,565,这个数字在未来五年还会有16%左右的速度增长。
当所有人都在担心AI会抢走工作的时候,Data Engineer的需求反而在逆势上涨。这到底是怎么回事?
要理解这个现象,得先搞清楚Data Engineer到底是干什么的。
很多人会把Data Engineer和Data Analyst、Data Scientist搞混。其实这三个角色虽然都和数据打交道,但分工完全不同。
打个比方:DE就像餐厅的主厨一样,为了给大家呈现精美的菜肴,首先需要进货,购买一些蔬菜和鸡鸭鱼肉,而这些原始食材就相当于source data一样。
DE需要通过各种方式处理好这些数据,就类似厨师需要给鱼刮刮鳞,鸡要去毛,肉要腌制等;初步处理完毕后,还要把各种食材切成不同的形状,所有这些食物材料的处理,就相当于data transformation和data cleansing。
食材处理完毕后,需要烹饪成菜肴,比如说有些菜需要蒸,有些菜需要炸,那么厨师就会以相应的方式去烹饪这道菜,这就类似于数据工程中有时候需要处理好的数据以dashboard的形式去展现出,有时候需要用处理好的数据去训练ML的model。
那么问题来了:如果想入行,应该怎么准备?
由于目前大学并没有提供系统的培训,一般行业内的数据工程师都是由社会培训,并且Data Engineer是一个非常强调实战的岗位。
面试官问你:"你设计过最复杂的数据管道是什么样的?数据量有多大?遇到过什么坑?怎么解决的?延迟和吞吐量是多少?怎么监控和报警?"
如果你说"我大学试着做了一个demo",那基本上就凉了。企业更偏向于拥有丰富项目经验的数据工程师
这也是为什么我一直推荐匠人学院的AI+ML&DE全栈班的这个课程!
这是澳洲第一个面向企业的数据工程师培训,已经帮助数百位学员拿到Offer!也适合留学生们回国就业!
课程会主要分为基础知识学习,数据项目实战以及公司商业项目、简历内推三大阶段来提升学生个人能力,完美模拟真实工作内容及流程。享受终身视频免费学习。
https://jiangren.com.au/program-course/data-engineer-data-analyst