机器学习&数据工程全栈项目班

📚 Lesson 1数据工程概述

数据工程的定义和重要性介绍数据工程的基本概念讨论数据工程在当今数据驱动决策中的关键作用数据工程与数据科学、数据分析的区别明确数据工程、数据科学和数据分析的职责和目标的不同点数据工程师的职责和角色描述数据工程师在数据管道设计、构建和维护中的关键职责数据工程... 登录后查看完整内容

ℹ️ InformationPrivate Project Introduction

Individual Project 1：Boston Crime Data Set： https://www.kaggle.com/datasets/AnalyzeBoston/crimes-in-boston/data Topic: Establishing Robust D... 登录后查看完整内容

🎬 VideoPython 文件操作与数据格式

内容来源：Cici老师文件读写学习如何使用 Python 读写不同格式的文件，包括 CSV、JSON 和 XML探讨各种文件格式的特点及其适用场景数据序列化与反序列化了解什么是数据序列化，以及如何在 Python 中对数据进行序列化和反序列化探讨常用的序列化格式，如 JSON 和... 登录后查看完整内容

🎬 VideoDE Introduction & DBMS - Relational Model

大数据概述什么是关系型数据库 SQL introduction 数据库深入理解数据库管理系统(DBMS) 数据库的9个特点 DBMS的优缺点 DBMS Components Database Architecture (1-tier, 2-tier, 3-tier) 5种不... 登录后查看完整内容

👨‍🏫 Tutorial数据工程15期开课讲解会

1.介绍上课的软件和频道，确保上课前需要加入【数据工程Teams】团队2.匠人官网隐藏资源介绍、课表解读3.项目相关情况4.Jobpin平台简历编辑器使用

👨‍🏫 TutorialTutorial 01 SQL&Python

Python 和 SQL 部分课程答疑。 SQL 练习。

ℹ️ Information关于如何解决 Error Messages，几个步骤

应对error message的几个步骤： 1. 详细阅读一下error message，看报错的内容是什么，是否和自己操作的步骤有关，你是否能从报错的内容中找到出错位置，以及出错原因 2. 如果自己无法理解错误信息，尝试提炼出error message中的关键语句，在googl... 登录后查看完整内容

🎬 VideoWorking With API

一些网站的拥有者使用API，也就是应用程序编程接口，以便于数据提取。API充当了客户端（如你的计算机）与服务器之间的桥梁，使它们能够进行通信。客户端通过这座桥发送请求，服务器则以所需的数据进行响应。想象一下这种用处：设想有两家公司，匠人学院和一个招聘网站，正在寻求合作。如果匠人... 登录后查看完整内容

📚 Lesson 9Git 的基本使用

Git 基础Git 安装与配置：安装 Git，配置用户信息。初始化仓库：使用git init创建新的Git仓库。版本控制：理解版本控制的概念和Git的版本控制机制。基本操作克隆仓库：使用git clone克隆远程仓库。文件操作：使用git add添加文件到暂存区，git comm... 登录后查看完整内容

ℹ️ InformationGitHub Actions Setup

1.Create a new repository in your github account, call it project_ibma_<yourname>2.Clone the repository into your local using git clon... 登录后查看完整内容

🎬 VideoLinux 基础

本节内容来源：Sai Li老师Linux 环境设置介绍 Linux 环境的配置和基本设置基本的 Linux 命令文件操作：ls, cp, mv, rm, touch目录操作：mkdir, rmdir, cd文件内容查看：cat, less, head, tail文件搜索：find... 登录后查看完整内容

🎬 VideoDBMS & SQL Intro

本节内容：关系数据库管理系统 RDBMS 的 12 条规则RDBMS 基础概念表格 table 概念tuple 概念attribute 概念schemakey 图示讲解 PK，FKIntegrity constraints : key 键约束 ; Domain 约束 ; Refe... 登录后查看完整内容

🎬 VideoDatabase 与 SQL 基础

内容来源：Haixin老师数据库基础数据库的定义和用途数据库管理系统（DBMS）的角色数据库类型关系型数据库（SQL 数据库）与非关系型数据库（NoSQL 数据库）常见的数据库系统：MySQL、PostgreSQL、MongoDB 等数据库安装教你如何安装数据库SQL 语言基础S... 登录后查看完整内容

👨‍🏫 TutorialTutorial 02 AWS 基础

辅导内容： AWS 基本使用问题答疑在 AWS 上 SQL 使用的问题答疑 SQL 练习：创建数据库，创建多个数据表，查询、连接、聚合等操作的练习。

📚 Lesson 4SQL Part 1

SQL 基础操作在 AWS RDS 上练习 SQL 的基本操作，包含 SELECT, INSERT, UPDATE, DELETE 等。子查询与连接操作理论讲解：子查询的概念、类型及其在 WHERE 和 FROM 子句中的使用。连接操作的种类（INNER JOIN、LEFT/RI... 登录后查看完整内容

🎬 VideoSQL Part 2

本节知识点：SQL 案例 2 讲解表(Table)与视图(View)的比较SQL tuning了解索引 index 的优点，分类，语法介绍窗口分析函数 window analytic functionSQL 案例 3 讲解窗口分析函数高阶:partition by 的使用，如 :... 登录后查看完整内容

AWS Introduction AWS Overview, IAM and Net working AWS S3 AWS EC2 and EBS AWS RDS, Redshift, Dynamodb

📚 Lesson 1AWS Introduction

介绍亚马逊云服务 AWS AWS 的基本概念和服务概览 AWS 全球架构解释 AWS 的全球布局，包括 Region 和 Availability Zone 的概念 AWS Region 探讨Region的选择对性能和合规性的影响 AWS Availability ... 登录后查看完整内容

📚 Lesson 2AWS Permission & IAM & S3

IAM: Identity Access Management 介绍 IAM 的基本概念，包括用户、组、角色和策略例子: 熟悉 IAM 的功能通过实例深入了解 IAM 的功能和管理方法例子: Create a Billing Alarm 演示如何设置计费警报，以避... 登录后查看完整内容

📚 Lesson 3Databases on AWS

数据库 Databases on AWS 探讨 AWS 提供的数据库服务总览关系数据库与非关系型数据库探讨关系数据库与非关系数据库的区别探讨非关系型数据库的特点和主要类型 OLTP vs OLAP 比较在线事务处理（OLTP）和在线分析处理（OLAP）的特点和应用... 登录后查看完整内容

👨‍🏫 TutorialTutorial 03 在 AWS 上 SQL 操作

辅导内容：知识点回顾。课程答疑。

🎬 VideoDocker 的使用

内容来源：Liji Yu老师介绍 DockerDocker 的主要用途和优势Docker 的基本组成：镜像、容器、仓库Docker 安装Docker 基本操作使用**docker pull**下载镜像使用**docker run**启动容器使用**docker ps**查看运行中... 登录后查看完整内容

📚 Lesson 6AWS Computing

介绍 EC2: Elastic Compute Cloud 了解 EC2 服务的基础知识，包括它的特性和用途 AWS EBS 介绍探讨弹性块存储（EBS）的基本概念，以及它与 EC2 的关系 Lab: 启动我们的第一个 EC2 实例通过实际操作学习如何启动和配置 E... 登录后查看完整内容

🛠️ WorkshopAWS IAM 的基本用法和高级使用

Workshop 分享人： Henry内容：AWS IAM 的基本创建账户使用IAM 的 policy 如何设置IAM 的 role 如何设置当用户的 Policy 抵达上限，如何解决IAM 如何设置 boundary，如何限制 User 只能使用悉尼地区服务针对 Non-pro... 登录后查看完整内容

👨‍🏫 TutorialTutorial 05 Data Warehouse & Data Lake

辅导内容：知识点回顾小练习

🎬 VideoAWS Messaging

SNS 和 SQS 简介了解 SNS 和 SQS 服务的基本概念和架构SNS: Pub-Sub model, Topic, SNS Benefits探讨 SNS 的发布-订阅模型，以及如何创建和使用主题讨论 SNS 的主要优势和应用场景SQS: 解耦应用组件, 存储消息, 发送/... 登录后查看完整内容

📚 Lesson 11AWS Networking

本节内容： VPC 简介（Virtual Private Cloud）定义 VPC 及其在 AWS 中的作用探讨 VPC 的关键特性和优势网络安全基础介绍网络安全的基本概念，包括防火墙和安全组 AWS VPC 的定义和示例通过例子讲解 VPC 的结构和工作原理... 登录后查看完整内容

🛠️ WorkshopAWS Lambda基础知识和Serverless概念

视频介绍：分享人：Shaun 内容：Serverles 基础概念Faas 基础概念 Function-as-a-Service 概念Lambda 如何使用，Lambda 的特点，优缺点Lambda 在匠人学院 App 里的使用简单的 Lambda Demo

👨‍🏫 TutorialTutorial 08 AWS VPC

知识点回顾课程答疑小练习

📚 Lesson 14AWS data platform and serverless part 1

本节内容： Kinesis 简介介绍 AWS Kinesis 服务及其在实时数据处理中的应用为 Kinesis 配置生产者 Lambda 练习：学习如何创建和配置一个 Lambda 函数来作为 Kinesis 的数据生产者为 Kinesis 配置消费者 Lambda... 登录后查看完整内容

👨‍🏫 TutorialTutorial 09 Serverless & Modelling

辅导内容： Machine Learning 知识回顾课程内容答疑小练习

📚 Lesson 16AWS data platform and serverless part 2

本节内容：创建第一个 Serverless 项目介绍如何创建 Serverless 项目和必要的前提条件解析初始项目的默认代码：handler.py 和serverless.yml 详细讲解项目初始代码文件的结构和功能解析 handler.py：理解处理函数的写法和... 登录后查看完整内容

📚 Lesson 17Data engineering Practice

本节内容： Batch Processing and Real Time Processing 定义批处理和实时处理，并比较两者的特点和应用场景 Data Extraction/Ingestion 探讨数据抽取的概念和技术，如 API 调用、数据库导出和日志文件讨论实时数... 登录后查看完整内容

👨‍🏫 TutorialTutorial 10 Serverless

辅导内容：知识点回顾课程的答疑小练习

📚 Lesson 1惊喜加餐，学长经验分享❗

课程时间：1小时 

🎬 VideoResume and Interview

课程简述:1. 澳洲就业行情介绍- Permanent/contract role介绍- 澳洲获取工作的方式结束- 招聘信息解读2. Glassdoor: https://www.glassdoor.com.au(怎么看别人对各个公司的评价；也会有面试的问题分享)3. Linke... 登录后查看完整内容

🎬 VideoLinkedin & CV

1. 校招和社招的要求，entry level vs junior level vs mid level2. 职场规划，沟通能力的重要性，team match 的重要性3. 澳洲公司情况，产品方向 vs 咨询方向4. 找工作网站的区别、建议5. 工作类型，permanent vs... 登录后查看完整内容

🎬 VideoLinkedIn&CV 2024.12.8

LinkedIn&CV 2024.12.8

🎬 Video澳洲工作职场介绍

"澳洲公司全景：行业领袖与职业机遇" 澳洲公司的市场概况：深入介绍澳洲主要行业和领先公司，包括它们的市场定位、企业文化和核心价值。澳洲公司的职业前景：探讨在澳洲各种类型公司工作的优势和挑战，以及如何在这些环境中发展职业生涯。 "就业方向解析：产品与咨询服务" ... 登录后查看完整内容

🎬 Video澳洲企业招聘流程

"澳洲企业招聘全攻略：三大关键阶段深度解析" 1.简历和求职信的制作与提交：学习如何撰写针对澳洲市场的高效简历和求职信，包括格式、内容和展现个人特色的技巧。 2.面试的全面准备：深入分析招聘过程中的各种面试类型，包括初步面试、在线评估、技术面试和管理层面试。提供准备技巧、常见... 登录后查看完整内容

🎬 Video招聘官挑选简历的标准

招聘官在挑选简历时通常会根据以下几个标准进行筛选：符合职位要求：首先会检查应聘者的教育背景、工作经验、技能和资格是否符合岗位的具体要求。清晰、专业的简历格式：一份清晰、逻辑性强、格式规范、无拼写错误的简历更容易获得青睐。关键字匹配：许多公司使用自动跟踪系统（ATS... 登录后查看完整内容

🎬 Video如何撰写 IT 专业简历

清晰的格式和布局：使用易于阅读的字体和清晰的布局。保持简历的长度适中，通常不超过两页。个人信息和联系方式：包括你的姓名、职业头衔（如软件工程师、系统管理员等）、联系电话、电子邮箱和 LinkedIn 个人页面链接。专业摘要或目标声明：简洁地概述你的职业背景、技能和你寻求的... 登录后查看完整内容

🎬 Video简历常见问题

"简历制作艺术：重点、加减分项及编写原则" 简历的重点内容：指导您如何突出简历中的重点内容，包括职业经历、技能、成就和教育背景，确保雇主能够快速抓住您的核心优势。避免的简历减分项：教您识别和避免简历中的常见错误和不利因素，如过度冗长、格式不当或信息不准确等。简历的加分元... 登录后查看完整内容

🎬 Video如何利用 ChatGPT 写简历

"利用 ChatGPT 提升简历撰写技巧：指南与实践" ChatGPT 基本使用方法：本节课将介绍 ChatGPT 的基础功能和操作方法，帮助学员快速掌握如何有效使用这一先进的工具。 ChatGPT 在简历撰写中的应用技巧：这部分将指导学员如何充分利用 ChatGPT 在... 登录后查看完整内容

🎬 Video手把手带着运营 LinkedIn

"LinkedIn 职业建设：完善个人资料与网络拓展" 维护完整、专业的 LinkedIn 个人资料：指导您如何创建和维护一个展现您职业经历、技能和成就的专业 LinkedIn 资料。这包括头像选择、经历描述、技能展示和获取推荐等关键元素。加入与行业和兴趣相关的 Lin... 登录后查看完整内容

🎬 Video如何利用 LinkedIn 准备面试

"求职成功攻略：职位描述解析、面试准备与公司研究" 这个课程旨在全面指导您如何在求职过程中取得成功。本课程将包括：职位描述深度解析：教您如何仔细分析职位描述，理解职位要求的核心内容和隐含条件，从而更有效地准备申请材料和面试。面试准备技巧：提供面试准备的策略，包括如何... 登录后查看完整内容

🛠️ WorkshopWorkshop: 持续集成(CI)/持续部署(CD)的概念以及Jenkins的使用

持续集成(CI)/持续部署(CD)的概念 Jenkins如何一步一步部署上的 Jenkins的Docker Image如何部署的如何实现Nodejs后端的自动化部署如何实现React前端的自动化部署

ℹ️ InformationGroup Project Intro

Project Name：Instacart Market Basket Analysis Dataset Introduction The dataset is a relational set of files describing customers' orders ove... 登录后查看完整内容

📚 Lesson 3Group project bootstrap

本节内容：介绍匠人培训 5.0项目类型介绍分组安排介绍Bootstrap 需要掌握的知识：Infrastructure as Code、CI/CD Pipeline、Github Actions、Project initiate项目 Proposal 的流程介绍

📚 Lesson 4Group Project Proposal

每组的 Project proposal 准备阶段：每组学生需要准备一个 PPT，介绍团队项目，包括项目背景、目标、所使用的技术栈、实现过程中的主要挑战和解决方案，以及项目的最终成果。展示阶段：每组在规定时间内来展示他们的项目。老师对每组项目的点评评价标准：如创意性、... 登录后查看完整内容

📚 Lesson 5Data Lake and Architecture on AWS

本节知识点：（项目辅导）   Data Lake architecture and implementation Statistical modelling and Machine learning Serverless big data processing SQL... 登录后查看完整内容

✍️ AssignmentProject Assignment 1

Project instructions1. Draw an ER model for the 5 five tables created in Athena. (You can use either https://app.diagrams.net/ or https://ww... 登录后查看完整内容

📚 Lesson 7Big data processing and modelling

本节知识点：（项目辅导） Apache Spark 的介绍Hadoop and SparkSpark featuresCluster mode 介绍Spark componentsDirected Acyclic Graph(DAG) in SparkSparkSession a... 登录后查看完整内容

✍️ AssignmentProject Assignment 2

Project Assignment 2作业要求查看文档附件

📚 Lesson 10Model deployment

本节内容（项目辅导）：生产级机器学习概述：定义生产级机器学习，并介绍其整体流程和面临的挑战。探索数据分析产品的部署过程，包括如何将模型部署成具有输入和输出的端点（Endpoint）。深入了解机器学习流程、数据工程流程、模型部署流程和监控流程。SageMaker 部署介绍：详细介绍... 登录后查看完整内容

🎬 Video什么是代码的SOLID原则

SOLID 原则是什么代码更好的实现形式Refactor 重构单一职责开关原则依赖注入

📚 Lesson 13Data streaming

本节内容：（项目辅导）   Stream Processing 介绍 Stream Processing and Batch Processing Kinesis data streams Stream Processing benefits Stream Proce... 登录后查看完整内容

🛠️ Workshop前端后端 API入门介绍

分享人: Wystan Zeng 内容：网页前端的 HTML 是什么，如何进行传输和显示的CSS 做什么的，干嘛用的JavaScript 是什么，用来做什么的，异步回调机制是什么API 是什么，API 用来做什么的Web API 是什么，前端和后端接受是什么框架是什么，框架如何产... 登录后查看完整内容

🛠️ Workshop数据工程师可以了解的Dev知识

视频介绍：分享人：Daniel Wang内容：CORS 是什么，CORS 哪里会出现问题，如何解决前端开发里的浏览器渲染过程是什么MVC 设计和 API 设计的区别是什么，有什么关系匠人官网的路由以 SSRCSR 和 SSR 的区别是什么Subdomain 和 Client Si... 登录后查看完整内容

📚 Lesson 1Data Warehouse & Data Lake

Data Lake 与 Data Warehouse 的概念：数据仓库和数据湖的定义及区别。数据仓库和数据湖在现代数据架构中的角色。AWS 在数据仓库和数据湖领域的服务概览。介绍一下主流的云数据库服务，如 Amazon Redshift、Google BigQuery、Snowf... 登录后查看完整内容

🎬 VideoUnix/Linux Shell Basic Data warehouse

图示讲解：什么是数据仓库data warehouse 基础概念：收集业务需求与团队各业务专家合作设计dimensional model 4 steps dimensional design : decide business process ... 登录后查看完整内容

ℹ️ InformationBig Data Introduction

大数据架构是指一系列技术和工具的组合，用于处理和分析巨量、多样化、高速生成的数据。这种架构通常需要考虑数据的收集、存储、处理、分析和可视化等方面，以满足不同的业务需求和技术挑战。下面是一个大数据架构的概述，包括其主要组件和功能。1. 数据收集与数据摄取（Ingestion）目的：... 登录后查看完整内容

🎬 VideoBig Data

本节内容：大数据主要概念：分布式存储 HDFS, HBase ;资源管理 yarn ;计算引擎：spark core;服务 APIHDFS 概念Name nodeData nodeBlocks图示讲解 HDFS 架构、流程和组件介绍 Yarn scheduler介绍 Hive m... 登录后查看完整内容

📚 Lesson 3Spark Data Processing 1

本节内容：Spark 安装如何在官网上安装 Spark: https://spark.apache.org/docs/latest/Spark 核心概念**弹性分布式数据集（RDD）：**介绍 RDD 的概念、特点及其在 Spark 中的重要性**DataFrame：**探讨 D... 登录后查看完整内容

📚 Lesson 5Spark Data Processing 2

本节内容：Spark SQL介绍和概念：讲解 Spark SQL 的基本概念，以及它如何使得处理半结构化数据变得简单。功能和特性：深入 Spark SQL 的主要功能，包括 DataFrame 操作、内置函数、窗口函数等。使用 Spark SQL 进行数据查询：演示如何使用 Sp... 登录后查看完整内容

🎬 VideoData Analytics

1.了解什么是数据分析 Non modelling analysis Modelling analysis 2.介绍Docker What's Docker How to use Docker Lab: use Docker to collaborate  

🎬 VideoData visualization with Tableau

介绍几种常用数据分析工具python, R, SQL, tableau, Excel, Power BITableau 介绍Tableau 的优点Tableau 的 5 种产品Tableau 实验基础案例分析案例根据已有 sheet 创建新的 sheet案例 sales by ... 登录后查看完整内容

📚 Lesson 1Machine Learning

"统计学习与模型应用：从线性回归到树基模型" 统计学习及模型准确度评估：   探讨如何使用训练数据、验证数据和测试数据评估模型的准确度。理解统计学习在数据分析和预测中的应用。线性模型选择及正则化：   深入理解 Ridge 和 Lasso 回归，并学... 登录后查看完整内容

✍️ AssignmentProject part 3 and 4

Assignment 03 Project part 3 and 4详细作业要求查看资料文件

🎬 VideoMachine Learning ||

支持向量机（Support Vector Machine）：学习支持向量机的基本类型，包括最大间隔分类器、支持向量分类器和支持向量机。探讨支持向量机的基础原理及其在分类问题中的应用。通过实验室代码讲解，练习构建和评估支持向量机模型。无监督学习：层次聚类方法：理解无监督学习中层次聚... 登录后查看完整内容

🎬 VideoAgile Methodologies

敏捷开发采用的具体方法，什么是 Scrum，什么是 Kanban结合实际工作讲解各个流程：scrum planning，daily standup，scrum board，scrum review meeting，spring retrospective meetingKanba... 登录后查看完整内容

🎬 VideoAgile Scrum

Agile 的由来、开发宣言、原则、主要关注点，什么是价值 Scrum 框架的各个流程概述，“3355”方法论结合实际工作讲解各个流程：scrum planning，daily standup，scrum board，scrum review m... 登录后查看完整内容

🎬 Video什么是Agile SDLC, Waterfall, Agile介绍

视频介绍:Agile 的由来、开发宣言、原则、主要关注点，什么是价值传统的项目管理如何进行的：悉尼歌剧院，悉尼轻轨Software Development Life Cycle(SDLC) 是什么, 具体的每个阶段是什么SDLC-Waterfall 和 V Model 是什么Pr... 登录后查看完整内容

🎬 VideoAgile Case研究：微软Microsoft Case Study

来自微软曾获得 MVP 的 Ray 老师，讲述以微软 Windows 交付使用 Agile 的流程微软是如何使用 Agile 的，如何使用 Agile 敏捷开发以及采用 DevOps 文化Windows 的发布周期Waas 是什么，Windows as a Service，其中 ... 登录后查看完整内容

👨‍🏫 TutorialTutorial 13 个人项目辅导

个人数据工程项目解析项目思路指导文档设计Sample Answer Demo

🎬 VideoProject Management Workshop

Project Management Workshop

课程大纲