数据科学与云大数据工程就业技能班(三期)

机器学习和人工智能数学基础

微积分(重要极限、微分原理、积分、泰勒展开、常微分方程)

用Mathematica推导微积分的原理、进行微积分计算、求解微分方程

线性代数(向量、矩阵、向量和矩阵的运算和微分)

利用Mathematica做线性代数计算和矩阵向量的微积分

概率论与统计(概率概念、条件概率、概率分布、离散概率、连续概率、翁模型、正态分布、 χ2-分布、t-分布、f-分布、z-分布、ANOVA、 WoE等)

用Mathematica进行离散数学计算、推导和计算概率和统计学分布、检验和ANOVA分析

用Numpy做数值计算

用TensorFlow处理数值、矩阵、向量、变量的 导数

用SciPy做统计学计算和分析

AzureML数据处理和建模

数据导入

数据清洗

分类器算法

回归算法

回测

模型优选

AzureML的模型发布和API整合

机器学习算法原理

DT(决策树)

RF(随机森林)

PCA(主成分分析)

kNN(k-邻近)

K-means(K-平均值)

LR(逻辑回归)

LDA(线性判别分析)/QDA(二次判别分析)

SVM(支持向量机)/SVR(支持向量机回归)

kernel methods(核方法)

RIDGE(脊回归)/LASSO(套索回归)

Ensemble Learning(集成学习)

MLE(最大似然估计)和Linear Regression(线性 回归)

MAP(最大后验估计)

NBC(朴素贝叶斯分类器)

Sk-Learn和SparkML当中机器学习算法的使用练习

神经网络和深度学习原理

神经网络的运算原理和训练方法

Data Scraping

利用HTML、API和Selenium抓取数据的方法： .Net Core, Selenium WebDriver, ChromeDriver, Ubuntu Linux。

利用HttpClient访问网页和调用Web API

用Regular Expression直接抓取

利用HtmlAgilityPack解析HTML并抓取数据

利用NewtonSoft.JSON解析抓取JSON数据

利用Selenium Chrome Driver浏览器自动 +HtmlAgilityPack化抓取复杂网页的数据

Selenium和Chrome在Ubuntu Linux上的部署

爬虫在Windows和Ubuntu Linux上的部署

前端开发(Angular, TypeScript, JavaScript, NodeJS, VS Code)

Angular开发环境的配置

VS Code的插件和使用

利用TypeScript编写Angular的Component、 Pipe、Service、Singleton Service

Router和RouterOutlet的使用以及多RouterOutlet的导航规则

后端开发和数据库使用

ASP.Net MVC, Visual Studio, Ubuntu Linux

Asp.Net Core MVC开发环境的配置

Asp.Net Core MVC的后端逻辑分层规则

数据库访问PostgreSQL关系型数据库和统计分 析查询、ArangoDB图数据库的使用、MongoDB 文档数据库的使用

Asp.Net Core MVC与Angular前端的整合

发布Asp.Net Core与Angular全栈项目到 Windows(Windows服务配置和Task Scheduler) 和Linux VM(Ubuntu Linux的服务配置和Crontab)

跨语言整合(ProtoBuf, Grpc)

ProtoBuf和Grpc在Visual Studio当中的编写和整合

利用ProtoBuf编写跨语言服务协议

在Asp.Net Core当中通过ProtoBuf调用Python机器学习服务

Python与机器学习、深度学习

Python, AnaConda, SK-Learn, TensorFlow, Numpy, OpenCV 实现前端、后端到深度学习的全栈-深度学习整合

Python和AnaConda开发环境与Visual Studio的配置和整合

神经网络的数学原理(数值优化、链式法 则、正反向传递)

神经网络应用和技术前沿的介绍

利用TensorFlow构造简单的神经网络

利用TensorFlow和OpenCV实现深度卷积图像 识别的训练与预测

Asp.Net Core与TensorFlow图像识别服务通过 ProtoBuf的整合

发布全栈-深度学习到Windows和Linux

大数据工程

IntelliJ IDEA, Spark, Spark SQL, Scala, SBT, Parquet, Spark MapReduce原理

MapReduce和Spark的原理

IntelliJ IDEA开发环境和Spark的SBT配置

利用SBT直接编译并在Linux上运行Spark

Scala的基本语法

CSV文件、Parquet文件的读取和导出

利用Spark编写并行算法的练习

SparkSQL与DataFrame的使用

通过DataBricks集群使用Spark

AWS Lambda与Athena

Azure BlobStorage与DataBricks

源代码管理

GitHub, VSTS源代码管理将渗透到具体的每个项目当中

在GitHub和VSTS上创建repo

多人合作Repo的权限管理

Git Flow(Git开发流程)、创建分支、Pull Request、代码审核、合并

云存储与Serverless

云存储与Serverless服务在大数据与数据科学 工业方案当中的应用

Azure Blob Storage的使用

Azure Functions的开发配置

AWS S3的使用

AWS Lambda的开发与CloudWatch和API Gateway

基于AWS Lambda与S3的全栈开发与部署

用Asp.Net Core编写ETL(数据转化导出)工 程(SFTP的使用、数据格式的转化)