IT干货 | 大神手把手带你走进数据世界

导师介绍

 

这期我们邀请的导师，分别是

导师们都是拥有很多年的相关工作经验，和大公司的工作经验呢！

 

 

干货

 

 

好了，话不多说，现在为大家奉上，小编课后辛苦总结的上课笔记，大家准备好小本本了么？

 

 

AU DataRelated Position Analysis

 

主讲人：Albert Peng

 

 

第一部分

 

从SDLC分析数据项目的工作流程

 

 

老师分析的思路和切入点是从一个数据项目的Software Development Life Cycle，也就是经常能看见的缩写SDLC进行分析。

 

一般的一个完整的data project，不管大小或者复杂程度，都要经过这么几个步骤：

1. Data Capture，有的也叫Data Ingestion，也就是从不同的数据源把数据获取并导入到系统中。常见的数据源有传统关系型数据库，平文件，流数据，机器日志，API获取数据等等。

2. Data Store and Process，也就是数据清洗，加工转化和存储的步骤。有一个更好的术语去形容它就是ETL：extract，transform and load，当然还有一个是时髦的词可以形容这个步骤就是data wrangling。当数据经过ETL，按数据模型整齐的加载到数据库中或者是其他数据存储中，那么这些数据就可以用来回答商业问题，做出预测，实现商业价值等等。

3. 第三步，老师并排的画了三个方向，这些数据可以做Data Analysis，Machine Learning and Business Intelligence。 

4. data visualization是第三步的一个结果，不管用数据做何种分析，80%的情况是需要有数据的图形展示，以用来证明假设、推断并tell a story，让客户、用户和stake holder更好的理解和使用数据。

 

与数据相关的三大职业

 

既然大家现在对数据项目的SDLC有了大致的了解，那么数据相关三大职业DE，DA，DS就在这个流程中诞生了。

 

DE，data engineer的主要工作发生在前2步，是用编程或者工具对数据进行获取和转换的工种，根据使用的技术和工具不同有很多称谓。

 

DA，Data Analyst是在一个business context and domain下，对于数据进行分析，以回答商业问题，满足商业需求的工种。具体的分类后面谷晨老师会具体介绍。

 

最后，DS，Data Scientist 是 data analyst的加强升级版本。主要武器是Machine Learning，用来做predictive analysis而不是简单descriptive analysis。DA和DS最关键的区别在于DS绝大多数情况都是用Feature Engineering，Machine Learning进行分析和解决商业问题的。

 

基于不同情况下DE\DA\DS工种的相同与不同

 

需要指出的是DE，DA，DS这三种工种在现实情况中无法每次都100%严格的区分。

 

其一是3种工种的技能有很多overlap，比如ETL这个技能，DA和DS同样需要掌握，但是没有DE那么深入，DE可以说是专门处理各种ETL场景的职位。

 

其二是澳洲各个公司对各个职位定义都不完全相同，比如澳洲很多公司招聘DS，都希望DS有DE的技能，可以从data capture做起。再比如有的公司对DA和DS有着严重的混淆，在有的公司，title最然是Data Scientist，但是这个职位甚至很少做算法模型。

 

 

第二部分

 

从数据架构图看DE\DA\DS的工作职责

 

 

接着给大家再看一个数据中心的架构图，要构建这么一个数据中心基本也是遵循这我前面讲的四个步骤。对于不同的模块的工作，产生了不同的岗位。DataEngineer会负责所有数据的获取，转化和存储的工作。而DataAnalyst和DataScientist会在红色模块：报表，用户画像，风控中工作。

 

 

上图，是从数据流的角度对前面那张图的进一步阐述，可以看到，同样的，Data Engineer会负责所有数据的获取，转化和存储的工作。而Data Analyst和Data Scientist会多在数据的应用和商业需求方面进行工作。

 

 

 

第三部分

 

薪资水平

 

下面给大家看下关于三大职业的薪水，数据来自Indeed。不是那么准确，但是可以反应部分情况。

 

DS的薪水是最高，其次是DE，DA薪水最低。不管那种职业，悉尼的工作机会最多，其次是melbourne。

 

---

 

 

第四部分

 

从招聘信息看data相关职业的必备技能

 

第一类：Data Engineer（DE）

 

 

ETL developer【de初级工种】必备技能

 

紧接着来将澳洲市场上几种data相关职业的招聘广告都研读一番，总结一下技能需求，让大家对各个职位都有一个相关的了解。看看自己和这些职位的gap在哪里，从而可以针对性的准备。

 

首先是data engineer相关职位ETL developer。

 

 

ETL developer是一个比较低阶的data engineer职位，从我看过的所有ETL developer JD，可以总结如下：必须的技能是会一种传统型数据库，SQL熟练，会熟练使用一种ETL工具，对数据仓库概念熟知。 Nice to have的技能是会用一种语言进行数据处理，会business intelligence 的技能，会data visualiztion

 

tips：

必须的技能是会一种传统型数据库，SQL熟练，会熟练使用一种ETL工具，对数据仓库概念熟知。 Nice to have的技能是会用一种语言进行数据处理，会business intelligence 的技能，会data visualiztion

 

 

data engineer的必备技能

 

 

那么如果在seek上搜Data Engineer，data engineer这个职位的title的JD是长什么样子呢？我选择了一个典型的例子：和ETL developer不同的是，Data Engineer需要使用一种语言熟练的进行数据处理，此外，对数据库，数据仓库，大数据需要有着hands on experience。大数据技术主要就是hadoop和spark。Nice to have 的技能是云经验和DS技能。

 

tips：

于ETL develoyper不同的是，Data Engineer需要使用一种语言熟练的进行数据处理，此外，对数据库，数据仓库，求其是大数据有着hands on experience。大数据技术主要就是hadoop和spark。Nice to have 的技能是云经验和DS技能，会做machine Learning。

 

回顾与总结

我们再来回顾下Data Engineer的四种daily task。第一是data ingest，把数据从不同的数据源extract和ingest进入系统。第二是搭建数据仓库。第三是助力数据分析，就是把数据整好了，帮助DA，DS开展分析。第四种是开发数据app。

 

 

第二类: Data Analyst（DA）

 

BI Developer【da初级工种】的必备技能

 

 

下面讲DA相关职位。

 

BI Developer是DA的一种职位，这个职位是主要是通过一种BI工具帮助公司内部的stakeholder洞察数据，理解数据从而做出商业决策。

 

 

BI developer的显著特点是必然使用一种BI工具，产出是报表和dashboards。一个例子是excel通过BI工具Power BI的加工，变成了一张fancy的报表。搜索澳洲的BI developer职位，可以发现80%是需要Microsoft BI Stack，如果熟练使用Microsoft BI Stack并且有hands-on的项目经验，BI Developer工作基本比较好找。

 

 

Data Analyst title的必备技能

 

让我们再看下带着Data Analyst title的JD是怎样的。对于Data Analyst，需要熟练使用SQL,SAS and Excel，有着Strong commercial experience/domain knowledge。

 

tips：

需要有着stong Communication Skills

要回Data Visualization tool的一种: Power BI, Tableau, Qlick

 

一定的Statistical modeling and analytical skills

 

data scientist的必备技能

 

就如老师前面所讲，data scientist是data analyst的一个全面升级，主要使用Machine learning进行predictive analysis。

 

 

后期的Jack老师课堂笔记将会为大家带来data scientist的具体剖析哟，请大家持续关注。

老师数据工程师之路关键词

 

我想介绍下是怎么走上data之路的。我2010年7月毕业于Adelaide Uni，Bachelor of Computer Science，我1年多在Adelaide都没有找到IT相关工作。到了2011年9月我才开始在一个small web agency做contract web developer，但是工作很不稳定，3个月contract结束后又陆续做了2家公司。后来big data兴起，我于2013年决定回国开始从事data相关工作。我先从较为低端的ETL developer开始起步，然后变成Senior ETL/BI developer, 从2016年开始转型真正做big data，也就是开始hadoop和spark的开发工作。到了今年4月由于签证原因我决定回到澳洲，首先登录的是悉尼，在一个半月的时间内，在我只聘data engineer工作的情况下，我面试了15家公司，最后拿了5个offer。我的案例想告诉大家：第一是不管是国内还是澳洲，data工作都非常火热。第二是我起点很低，走了很多弯路，但是最后还是比较成功的找到了满意的数据工作并且每年都不断进步。我希望我能把我的经验传授给大家，让大家快速找到data相关工作。第三是每个人都是从没有相关技能和经验的阶段走过来的，但是只要开始决心学习，不管是看书还是上课或者做项目，你就可以开始起步。希望大家都充满自信，适当的polish自己的简历，开始data相关工作的寻找。

”

 

结束语

 

感谢各位小伙伴，一直努力学习到最后，明天同一时间，将会为大家带来数据方向知识点，第二篇。

 

 

请大家继续关注哦！