商业数据分析训练营

课程大纲

打通数据分析任督二脉
Introduction and Data Analytics Foundation
“数据分析（DA）职业发展与转行指南"
1. 匠人学院介绍：提供全面的课程和实践项目，旨在帮助学员掌握数据分析的关键技能，并成功融入澳洲的工作市场。
2. 导师介绍：匠人学院拥有一支由行业精英和经验丰富的专业人士组成的导师团队，他们不仅具备深厚的理论知识，而且在数据分析实践中拥有丰富的经验。
3. 澳洲 DA 就业情况：课程将详细介绍澳洲数据分析领域的就业市场，包括职位需求、薪资水平和职业发展路径。
4. 课程内容介绍：匠人学院的课程内容包括数据处理、分析方法、工具使用技巧，以及如何在实际工作中应用这些技能。
5. 实践项目介绍：学院提供的实践项目让学员有机会将所学知识应用于真实世界的问题，增强理论与实践的结合。
6. 转行人士的学习路径：专为转行人士设计的课程，注重基础知识的构建和技能的快速提升，帮助他们顺利进入数据分析领域。
Statistics Fundamental Knowledge
"Essential Statistics for Data Analysis: Mastering the Fundamentals"
1. Probabilities and Distribution: Dive deep into the world of probabilities, understanding how to calculate and interpret them. Explore various types of distributions that are pivotal in statistical analysis, such as normal, binomial, and Poisson distributions.
2. Inference Statistics: Gain insights into making predictions and generalizations about a population based on a sample. Learn the art of drawing conclusions from data, understanding sampling methods, and estimation techniques.
3. Confidence Interval: Understand the concept of confidence intervals, a key statistical tool used to estimate the range within which a population parameter is likely to lie. Learn how to calculate and interpret confidence intervals in different scenarios.
4. Hypotheses Testing: Master the fundamental process of hypothesis testing, an essential aspect of making decisions and inferences about population parameters based on sample data. Understand various types of tests, including t-tests and chi-square tests.
5. A/B Testing & Experiment Design: Learn the essentials of A/B testing, a popular method used in comparing two versions of a webpage, product, or any entity to determine which one performs better. Delve into the principles of experimental design to ensure effective and valid results.
Regression & Time Series Modelling
"Mastering Regression and Time Series Modeling"
Simple Linear Regression:
• Understand the fundamentals of linear regression.
• Learn how to model and predict outcomes based on a single predictor.
Multiple Regression and Dummy Variables:
• Explore the complexities of multiple regression analysis.
• Learn how to incorporate categorical data using dummy variables in your regression models.
Multiple Regression in Machine Learning:
• Dive into machine learning applications of regression.
• Get hands-on experience with Ridge, Lasso, and Elastic Net techniques for more robust modeling.
Time Series Modeling: Trend and Seasonality:
• Understand the nuances of time series data, focusing on trend analysis and seasonal adjustments.
• Gain skills in identifying and modeling patterns over time.
Time Series Modeling in Finance:
• Explore advanced time series techniques in the context of financial data.
• Learn about Autoregressive (AR), Moving Average (MA), and ARIMA models, essential tools for financial forecasting.
Data visualisation & Storytelling skills
"让数据讲故事"
数据可视化简介与工具：
• 深入了解数据可视化的基本原则和目的。
• 探索各种数据可视化工具，如Tableau、Power BI和Excel，了解它们的特点和适用场景。
数据转化为故事：
• 学习如何将数据分析结果转化为引人入胜的故事。
• 掌握如何有效地组织和呈现数据以吸引并保持观众的注意力。
利用图表辅助演讲：
• 探讨如何通过图表和可视化手段增强您的演讲和报告。
• 了解如何选择合适的图表类型并最大化其对演讲的支持作用。
提升演讲吸引力：
• 学习技巧和方法，使您的演讲和数据呈现在众多报告中脱颖而出。
• 掌握如何利用视觉元素、故事叙述和互动环节增加演讲的吸引力。
ADVANCED EXCEL&VBA 
Excel VBA Part 1 - VBA Syntax
"编程基础与 Excel VBA 高效应用课程"
1. 变量、常量和数据类型：深入了解编程的基础，掌握如何在VBA中使用不同类型的变量和常量来存储和处理数据。
2. Excel对象层级：探索Excel VBA中的对象模型，了解如何有效操作Excel的各种组件，如工作簿、工作表和单元格。
3. 循环与条件语句：学习如何使用循环和if语句来自动执行重复任务和进行条件判断，提高代码的效率和可读性。
4. 嵌套循环及其控制：掌握嵌套循环的使用技巧，包括如何使用退出(exit)和跳转(goto)语句来优化循环结构。
5. 字符串处理与日期时间处理：学习如何在VBA中处理文本数据和日期时间，包括字符串函数和日期时间计算。
6. 数组的使用：了解数组的概念和应用，掌握如何在VBA中创建和操作数组来存储和处理一系列数据。
7. 错误处理：探索VBA中的错误处理方法，学习如何编写健壮的代码来处理和预防错误。
8. 表单和控件：熟悉如何使用VBA创建和管理用户界面，包括表单和各种控件，以提高程序的交互性。
Excel VBA Part 2 - Event & formula integration
"Mastering Event Handling and Formula Integration"
Using Macro Recorder:
• Learn the ins and outs of the Macro Recorder in Excel.
• Understand its advantages for quick automation tasks and its limitations for more complex requirements.
Advanced Formulas:
• Master powerful Excel formulas like SUMIFS, COUNTIFS, GETPIVOTDATA, and Array formulas.
• Discover how these formulas can transform data analysis and reporting processes.
Pivot Table Basics:
• Get to grips with creating and manipulating Pivot Tables.
• Learn how to integrate Pivot Tables into your Excel automation strategies for enhanced data insights.
Formula Manager: A Unique VBA Tool:
• Explore the Formula Manager, a unique VBA tool that seamlessly integrates VBA with Excel’s built-in formulas.
• Learn how to leverage this tool to simplify complex tasks.
Events in VBA:
• Understand different ways to trigger VBA code through events.
• Learn how to automate tasks based on specific user actions or changes in your Excel workbook.
Practicing Advanced Skills:
• Receive guidance on how to further practice and refine your skills.
• Learn techniques to progress from an advanced to an expert Excel user.
零基础学SQL for data Analysis
AWS RDS and SQL components
Amazon Web Services - RDS Introduction:
• Explore the fundamentals of AWS RDS, understanding its significance in cloud database management.
• Learn about the features, benefits, and use cases of AWS RDS in real-world applications.
SQL Components Deep Dive:
• SQL DDL (Data Definition Language): Master key DDL commands like CREATE, DROP, TRUNCATE, ALTER, COMMENT, and RENAME to define and modify database structures.
• Database Tools: Introduction and installation of DBeaver, a popular database management tool.
• DML (Data Manipulation Language): Learn how to manipulate data within the database using INSERT, UPDATE, DELETE, etc.
• DCL (Data Control Language): Understand how to control access to data in the database.
• TCL (Transaction Control Language): Grasp the concepts of managing SQL transactions with commands like COMMIT and ROLLBACK.
Assignments:
• Install DBeaver: Get hands-on experience by installing DBeaver, setting you up for practical database management tasks.
• SQL Components Tutorial: Engage with tutorial questions Q1 and Q2 to reinforce your understanding of SQL components.
• Register an AWS Account: If you don't already have one, set up an AWS account to gain practical experience with AWS services.
SQL operators and common used functions
"Mastering Data Types, Operators, and Functions"
Common SQL Data Types:
• Understand the basics of data types such as Text/Varchar, Integer, Date/Timestamp, and Serial.
• Learn how to choose the right data type for various data scenarios in SQL.
SQL Operators:
• Master the use of different types of operators, including Arithmetic for basic calculations, Comparison for evaluating conditions, and Logical operators for complex queries.
SQL Aggregation Functions:
• Explore the power of aggregation functions like Sum, Count, and Avg to perform calculations on data sets.
• Learn how to apply these functions to extract meaningful insights from large volumes of data.
Common SQL Functions:
• Get to grips with frequently used functions such as Min/Max for finding extreme values, Distinct for retrieving unique values, and Substring/Length for text manipulation.
• Understand how to use Upper/Lower for case conversion, Coalesce for handling null values, Extract for retrieving parts of a timestamp, Concat for string concatenation, and much more.
Advanced SQL Techniques:
• Delve into more complex SQL features such as the Case statement for conditional logic, and Cast/to_date for data type conversion.
SQL joins and window functions
" Mastering Joins and Window Functions"
SQL Joins:
• Master the art of combining data from multiple tables with various types of joins.
• Learn the intricacies of No Join, Inner Join, Left Join, Right Join, Full Join, and Cross Join.
• Understand when and how to use Union to combine results from different queries.
Window Functions:
• Dive into the advanced realm of SQL window functions for sophisticated data analysis.
• Gain expertise in functions like Row_Number, Rank, and Dense_Rank to perform complex ranking tasks.
• Explore Lead and Lag for accessing data from preceding or following rows.
• Discover how to utilize First_Value and Last_Value for insights on data segments.
SQL query optimization and performance tunning
"Structure, Performance, and Efficiency"
Query Optimization: Structure & Layout:
• Master the use of the 'WITH' clause and views to structure your SQL queries more effectively.
• Learn how to organize and simplify complex queries, making them more readable and maintainable.
Query Optimization: Performance:
• Dive into performance optimization techniques such as materialized views, which can drastically improve the speed of frequently executed queries.
• Understand the role of indexes in query optimization, learning how to create and use them to enhance query performance.
• Explore the concept of table partitioning, a method to divide large tables into smaller, more manageable pieces, leading to improved query efficiency.
数据可视化 PowerBI
PowerBI Fundation
"Comprehensive Guide to Microsoft PowerBI: From Desktop to Publishing"
PowerBI Desktop Introduction:
• Step-by-step guidance on downloading, installing, and setting up PowerBI Desktop.
• Navigate through the PowerBI interface and understand the workflow to create impactful data visualizations.
Microsoft PowerBI Publish Introduction:
• Learn the nuances of publishing your reports and dashboards.
• Understand how to use PowerBI Workspaces for collaboration and sharing insights with your team or stakeholders.
Data Connectors in PowerBI:
• Discover how to connect PowerBI to various data sources, unlocking the potential to visualize and analyze a wide range of data.
Power Query and Editor Basics:
• Dive into Power Query, learning the basics of data extraction and transformation.
• Explore the Power Query Editor and its capabilities to refine and manipulate your data effectively.
Table Transformation Techniques:
• Master table transformation techniques to organize and prepare data for analysis.
Connecting to a Database:
• Learn how to connect PowerBI to different databases, facilitating seamless data import and real-time analysis.
PowerBI Advanced
"Transforming Data Types and Optimizing Queries"
Check and Modify Data Types:
• Learn to accurately identify and modify data types including Text, Numerical, and Date & Time.
• Understand the significance of each data type and how to effectively transform them for analysis.
Creating Calendar Date Tables:
• Master the creation of calendar date tables, a crucial aspect for time-based data analysis and reporting.
Index & Conditional Columns:
• Dive into the techniques of indexing and creating conditional columns to streamline data processing and retrieval.
Grouping & Aggregating Data:
• Explore methods to group and aggregate data, enabling efficient summary and analysis of large datasets.
Merging & Appending Queries:
• Learn how to merge and append queries to consolidate data from different sources, enhancing the comprehensiveness of your analysis.
Refreshing Queries:
• Understand the process and importance of refreshing queries to ensure data remains current and accurate.
PowerBI Advanced: Dashboard Building 1
"From Data Modeling to Interactive Dashboards"
Data Model Construction:
• Understand the importance of a well-structured data model as the backbone of effective PowerBI dashboards.
Database Normalization Techniques:
• Learn database normalization principles to organize data efficiently within your PowerBI models.
Fact and Dimension Tables:
• Explore the creation and utilization of fact and dimension tables, fundamental for robust data modeling.
Primary and Foreign Key Concepts:
• Grasp the significance of primary and foreign keys in establishing reliable table relationships.
Creating Table Relationships:
• Master the art of linking tables through relationships to enable comprehensive data analysis.
Star and Snowflake Schemas:
• Dive into star and snowflake schemas, understanding their role in simplifying complex data models.
Relationship Cardinality:
• Learn about different types of relationship cardinalities and their impact on data integrity and performance.
Connecting Multiple Fact Tables:
• Explore strategies to effectively connect multiple fact tables for a more dimensional analysis.
Data Formats and Categories:
• Understand how to format and categorize data correctly for more accurate and meaningful insights.
Creating Hierarchies for Analysis:
• Learn how to build hierarchies within your PowerBI models to facilitate advanced analytical capabilities.
PowerBI Advanced: Dashboard Building 2
"Advanced Design and Analysis Techniques"
Dashboard Design Framework:
• Learn to create a coherent and effective design framework for your PowerBI dashboards.
Sketching the Dashboard Layout:
• Master the art of sketching and planning your dashboard layout for maximum impact and user experience.
Adding Report Pages & Objects:
• Explore how to add and organize report pages and objects to build comprehensive and navigable dashboards.
Diverse Types of Graphs and Their Uses:
• Delve into various graph types including Cards, Multi-Row Cards, Line Charts, Trend Lines, Forecasts, KPI Cards, Bar and Doughnut Charts.
• Learn to use these visualizations effectively to represent different types of data and insights.
Advanced Filtering and Data Representation:
• Understand advanced filtering techniques like Top N filtering and how to effectively use Tables, Matrixes, and Maps for data representation.
Report Slicers, Drill Up & Drill Down:
• Master report slicers and learn the techniques of drill up and drill down to provide a dynamic data exploration experience.
Interactive Report Interactions:
• Gain skills in creating interactive reports that allow users to engage with the data in various ways.
Working with Parameters:
• Learn to use numeric range and field parameters to make your reports more flexible and user-friendly.
Designing Custom Tool Tips:
• Discover how to create custom tooltips to provide additional context or data, enhancing the overall user experience.
PowerBI Case Study
"Importing Themes, Mobile Layouts, and DAX Mastery"
Importing Report Themes:
• Learn how to import custom themes to your PowerBI reports, giving them a unique and professional look.
Designing for Mobile Layouts:
• Master the art of creating PowerBI reports optimized for mobile devices, ensuring accessibility and readability on smaller screens.
Calculated Fields with DAX Code:
• Dive deep into Data Analysis Expressions (DAX), a powerful library of functions and operators for creating complex calculations.
Introduction to DAX Calculated Columns and Measures:
• Understand the fundamentals of DAX calculated columns and measures, learning how to implement them in your reports.
Exploring DAX Syntax and Operations:
• Get comfortable with DAX syntax and operations, enabling you to write effective DAX expressions.
Basic Math and Statistical Functions in DAX:
• Explore basic mathematical and statistical functions in DAX to perform advanced data analysis.
Case Study of a Real-World Project:
• Engage in a detailed case study of a real-world project, applying the skills you've learned to understand how these techniques are implemented in a professional setting.
数据可视化 Tableau
Tableau 基础
"连接数据源与制作图表"
链接不同的数据源：
• 学习如何在 Tableau 中连接各种类型的数据源。
• 掌握数据准备和预处理的基本技巧，确保数据的准确性和可用性。
制作简单的 Tableau 图表：
• 指导如何制作基本的 Tableau 图表，包括条形图（Bar Chart）、折线图（Line Chart）、文本表（Text Table）、高亮表（Highlight Table）、地图（Map）、树形图（Tree Map）等。
• 通过实际操作，了解如何选择合适的图表类型来展现和分析数据。
交互式图表设计：
• 学习如何利用 Tableau 的交互功能，增强图表的表现力和用户体验。
数据可视化的最佳实践：
• 讨论数据可视化的设计原则和最佳实践，帮助您制作既美观又功能强大的图表。
Tableau 的进阶
"数据线、Dashboard、数据连接与计算技巧"
添加不同类型的线：
• 学习在 Tableau 中添加和使用不同类型的线，如参考线（Reference Line）、趋势线（Trend Line）和预测线（Forecast Line）。
• 掌握如何使用这些线来增强图表的信息传递能力和分析深度。
制作 Dashboard 和 Story：
• 了解如何在 Tableau 中创建简单的 Dashboard和 Story，让您的数据故事更加生动和连贯。
• 学习布局和设计技巧，确保 Dashboard 既直观又富有吸引力。
连接不同的数据源：
• 探索 Tableau 中的数据连接方法，包括 Union、Join 和 Blend。
• 详细讲解每种方法的含义和操作步骤，确保您能有效整合不同来源的数据。
基本及高级计算：
• 学习Tableau 中三种常用的计算方法：计算字段（Calculated Field）、表格计算（Table Calculation）和层级别细节（LOD）表达式。
• 掌握如何运用这些计算技巧来进行更深入的数据分析和处理。
Tableau 的进阶: 创建 Dashboard
"打造动态和创新的数据视觉化"
Tableau 常用重要特性：
• 深入了解并实践 Tableau 中的高级功能，如分组（Group）和集合（Set），数据分箱（Bin），层级（Hierarchy）和参数（Parameter）的使用。
• 掌握这些功能如何帮助您进行更复杂的数据分析和更精细的数据展现。
使用 Page 制作动态 Dashboard：
• 学习如何使用Tableau 的 Page 功能制作动态数据 Dashboard。
• 掌握动态展示数据随时间或其他变量变化的技巧，使您的 Dashboard 更具交互性和信息丰富度。
创建新颖的 Hex Map：
• 探索如何在 Tableau 中创建创新的六边形地图（Hex Map）。
• 了解 Hex Map 的设计原理和制作过程，提升您的数据可视化创造力和技术水平。
Tableau Case study
"实战演练与仪表盘制作"
综合应用之前学习的知识：
• 回顾并实践之前课程中学习的 Tableau 技能，如数据连接、数据处理和基本图表制作。
学习制作新型图表：
• 探索并学习制作在工作中常用的高级图表，例如甜甜圈图（Donut Chart）和瀑布图（Waterfall Chart）。
• 了解这些图表的设计原理和制作步骤，提升您的数据可视化技巧。
掌握 Tableau 中的 Actions 使用：
• 学习如何在 Tableau 中使用交互动作（Actions），如筛选、高亮和URL跳转，增加仪表盘的互动性和用户体验。
完成一个完整的 Tableau 仪表盘：
• 在课程的最后，您将综合运用所学的技能完成一个完整的 Tableau 仪表盘。
• 这个项目将帮助您巩固知识，并展示您的综合分析和可视化能力。
Marketing Analytics
"策略、分析与职业规划"
市场营销策略基础：
• 介绍市场营销策略的基本概念，包括目标市场定位、产品定位和竞争分析。
• 探讨如何将数据分析应用于市场营销策略，提升决策的科学性和有效性。
市场营销分析概念：
• 深入了解市场营销分析的角色和重要性，包括消费者行为分析、市场趋势预测和营销效果评估。
数据分析岗位解析：
• 通过比较市场分析师（Marketing Analyst）和数据分析师（Data Analyst）的职责和技能要求，帮助学生更好地进行职业选择和规划。
Google Analytics 的应用：
• 介绍 Google Analytics 的基础概念和操作，包括用户行为追踪、流量分析和转化率优化。
• 帮助学生理解如何利用 Google Analytics 进行网站和营销活动的
DA Career Coaching
数据分析行业和简历
"数据分析行业洞察与求职简历制作指南"
行业分析和职业选择：
• 分析澳洲数据岗位的就业情况和求职方法，为您提供市场的最新动态。
• 探讨数据类职位在不同行业中的应用和选择。
• 比较不同数据类职位的核心属性和区别，帮助您更好地定位职业方向。
• 详细讲解数据分析岗位的核心技能要求和面临的挑战。
求职数据类工作简历：
• 指导您如何在清楚职业定位的基础上，根据过去的学术和工作经验，定制针对目标数据分析岗位的简历。
• 教您如何优化简历的内容分布和文字表述，使其更具吸引力。
• 分享技巧，加强您的学术背景和工作经验与目标工作的联系性。
数据分析面试技巧
"全面备战面试：敏捷角色、数据分析和行为问题解析"
敏捷角色面试环节：
• 了解敏捷（Agile）和 Scrum 的核心概念及其在工作中的应用。
• 探讨敏捷团队中各种角色的职责和期望，如 Scrum Master 和 Product Owner。
• 学习针对敏捷角色的面试技巧和常见问题。
数据分析职位面试问题：
• 深入理解数据分析岗位的要求和挑战。
• 掌握数据分析岗位面试中的必考问题，包括技术知识和案例分析。
• 学习如何展示您的数据处理、分析和解决问题的能力。
情景面试（Behavioral Questions）：
• 理解情景面试的目的和结构，学习如何准备和应对行为问题。
• 掌握 STAR（Situation、Task、Action、Result）方法，有效地回答基于情境的问题。
• 学习如何通过具体事例展示您的职业技能和个人品质。
零基础学Python - Python For Data Analysis 
Python 基本语法 - Introduction and Data types
"Python 基础知识与实践应用"
Python 介绍、安装和第一个 Python 程序：
• 为您提供 Python 编程语言的基本介绍，包括它的历史和应用领域。
• 指导您完成 Python 环境的安装和配置。
• 一起编写您的第一个 Python 程序，体验编程的乐趣。
• 思考题：思考一下学会 Python 后想要开发的一个项目或程序，鼓励创意和实用性的结合。
常用数据类型 - 文字类 (String)：
• 深入了解字符串（String）这一基本数据类型，学习如何在Python中使用字符串。
• 掌握字符串的常见操作，如拼接（Concatenation）、格式化（Formatting）、大小写转换（Letter Cases）、索引等。
• 学习变量的使用规则和重要性，了解如何有效地使用变量来存储和处理数据。
• 引入注释的概念，教您如何在代码中添加注释来提高代码的可读性和维护性。
Python 基本语法 - Data types
"Python 数据类型深度解析：掌握核心编程基础"
数字类 (Integer, Float)：
• 探索整数（Integer）和浮点数（Float）在Python中的应用。
• 学习数字类的常见操作，如最小值（Min）、最大值（Max）、平均值（Average）和四舍五入（Round）等。
布尔值 (True or False)：
• 理解布尔值的概念，及其在程序控制和条件判断中的重要性。
数组类 (List, Tuple, Set)：
• 详细讲解列表（List）、元组（Tuple）和集合（Set）的特点和用法。
• 掌握列表的常用操作，如添加（Append）、删除（Remove）、排序（Order）等。
字典 (Dictionary)：
• 学习如何在 Python 中创建和使用字典，及其在存储键值对数据中的重要性。
• 探索字典的安全操作方法，如更新（Update）、获取（Get）等。
日期处理：
• 利用 Python 自带的库进行日期处理，学习不同的日期提取和运算方法。
数据类型总结：
• 总结和理解当不同类型的数据在实际编程中相互混合时如何处理，探讨复杂数据格式的应用。
Python 基本语法 - control flow
"Python 流程控制精讲：编写高效的循环与条件判断"
If 语句：
• 探索 If 语句的基本概念，学习如何根据条件执行不同的代码块。
• 理解真（True）与假（False）在条件判断中的重要性和应用。
While 循环：
• 学习 While 循环的基本结构和应用，理解如何编写反复执行代码直到满足特定条件的循环。
• 探讨编写永动程序（永远不会停止的循环）的潜在问题和解决方案。
For 循环：
• 深入理解 For 循环的机制，掌握如何遍历序列中的每个元素。
• 学习列表解析（List Comprehension）的高级技巧，提升代码的简洁性和效率。
流程控制技巧：
• 理解 Break、Continue 和 Pass 的用法，学习如何在循环中更灵活地控制程序流程。
• 练习编写作业单元，包括如何接收用户输入（Input）并进行处理。
Python 基本语法 - function and class
"Python 编程深化：函数、类及实战项目"
函数(Function)的深入探索：
• 探讨函数的作用和必要性，理解函数和返回值的概念。
• 学习如何有效使用函数参数，提升代码的灵活性和可读性。
• 掌握文档字符串（Doc Strings）的编写，提高代码的易用性和可维护性。
• 了解错误处理（Error Handling）的技巧，确保程序的健壮性。
• 练习对函数进行测试，确保功能的准确性和可靠性。
类(Class)的基础与应用：
• 理解面向对象编程中“类”的概念和作用。
• 学习如何创建和使用类，包括初始化器（Initializer）和方法（Methods）。
• 探索类的作用域，包括属性（Attributes）、静态方法（Static Methods）、类方法（Class Methods）等。
• 讨论私有和公有成员的区别，以及类的继承（Class Inheritance）。
Capstone 项目：停车场售票机的构建：
• 通过 Capstone 项目将所学知识融会贯通，包括 context manager 和文件系统的应用，以及文件夹和模块的管理。
• 最终任务是建立一个停车场售票机系统，展示您的编程技能和项目管理能力。
Pandas Part 1
"Python 数据处理精粹：掌握 DataFrame 及高效数据操作"
数据结构(Data Structure)的概念：
• 理解 Python 中基本数据结构的原理和应用，包括列表（List）、字典（Dictionary）和集合（Set）。
DataFrame 的基础知识：
• 深入学习 Pandas 库中的 DataFrame，一个强大的表格型数据结构。
从 CSV 和其他格式创建 DataFrame：
• 掌握如何从 CSV 文件和其他数据格式导入数据到 DataFrame 中。
应用统计方法于 DataFrame：
• 学习如何使用 DataFrame 的统计方法进行数据分析和摘要。
列表解析(List Comprehension)和字典查找：
• 了解如何使用列表解析进行高效的数据操作，以及如何在数据处理中应用字典查找。
过滤(Filter) DataFrame：
• 探索如何根据条件过滤和筛选DataFrame中的数据。
排序(Sort) DataFrame：
• 学习不同的排序方法，对DataFrame中的数据进行有序排列。
Map 与 Apply 的比较：
• 理解 Map 和 Apply 函数的区别及其在数据处理中的各自用途。
Pandas Part 2
"时间序列分析与 Pandas：从数据处理到 ARIMA 预测"
使用 Pandas 处理时间序列(TimeSeries)数据：
• 探索如何利用 Pandas 处理和分析时间序列数据，包括数据导入、清洗和转换。
• 学习时间序列的索引和切片操作，以及重采样（Resampling）和窗口函数（Window Functions）的应用。
时间序列模式识别(TimeSeries Pattern Recognition)：
• 理解时间序列数据的特征和结构，学习如何识别数据中的趋势（Trend）、季节性（Seasonality）和周期性（Cyclicity）。
• 掌握统计图表和数据可视化技巧，以辅助模式识别和数据解读。
时间序列 ARIMA 模型(TimeSeries ARIMA Model)：
• 深入学习自回归积分滑动平均（ARIMA）模型的原理和构建方法。
• 探讨如何使用 ARIMA 模型进行时间序列数据的预测和分析。
Case study - Exploratory Data Analysis
"探索性数据分析案例研究：使用 Python 和 Pandas 库"
Pandas 库简介：
• 介绍 Python 中的 Pandas 库，包括其功能和在数据分析中的应用。
• 学习如何在 Python 环境中安装和设置 Pandas 库。
数据预处理与清洗：
• 掌握使用 Pandas 进行数据预处理和清洗的技巧，如处理缺失值、异常值和格式转换。
探索性数据分析（EDA）技巧：
• 学习如何使用 Pandas 进行探索性数据分析，包括数据探查、特征分析和数据可视化。
案例实战练习：
• 通过实际的数据分析案例，深入练习 Pandas 库的应用。
• 名师将手把手指导您完成案例，帮助您将理论知识转化为实践技能。
数据分析使用机器学习
Case study - Regression and Machine Learning
回归分析技巧：
• 探索回归分析在预测和趋势分析中的应用。
• 学习线性回归和逻辑回归等常用回归模型的构建和评估。
机器学习实战应用：
• 通过具体案例学习如何将机器学习技术应用于实际的数据分析项目。
• 名师将手把手指导您完成项目，从数据准备到模型构建、评估和优化。
Python Machine Learning Part1
"Matplotlib 可视化与机器学习基础：从图表到 KNN 模型"
使用 Matplotlib 进行探索性数据可视化：
• 掌握如何使用 Matplotlib 库进行初步数据探索和可视化。
• 学习不同类型的图表如何揭示数据的关键信息和趋势。
Matplotlib 基础图表：
• 深入了解基础图表的制作，包括折线图（Line Chart）、条形图（Bar Chart）和散点图（Scatter Chart）。
• 探讨这些图表在数据分析中的应用和重要性。
Matplotlib 高级图表：
• 学习创建高级图表，如三维散点图（3D Scatter）、相关性热图（Correlation Heatmap）和缺失数据可视化（MSNO Chart）。
• 探索如何利用这些高级图表进行更深入的数据分析。
机器学习入门：
• 介绍机器学习的基本概念，包括知识树和机器学习生命周期。
• 理解机器学习在现代数据分析中的应用和重要性。
KNN 模型实例讲解：
• 快速实例演示K-最近邻（KNN）模型的应用。
• 通过实际例子展示如何使用 KNN 模型解决分类问题。
Python Machine Learning Part2
"回归模型深入解析：从基础到逻辑回归"
单神经元的基础理解：
• 从简单的单个神经元开始，理解回归分类器模型的基本原理。
• 探讨如何将这些概念应用于更复杂的模型构建。
从零开始编写单神经元分类器：
• 学习如何从头开始编写自己的单神经元分类器模型。
• 掌握编程技巧和算法设计，实现基础的分类功能。
回归模型的关键概念：
• 深入理解回归模型中的核心概念，包括损失函数（Loss Function）、梯度下降（Gradient Descent）和激活函数（Activation Function）。
• 探索这些概念如何共同作用于模型的学习和优化过程。
逻辑回归中的对数函数作用：
• 研究对数函数（Log Function）如何在逻辑回归中作为激活函数使用。
• 理解逻辑回归如何处理分类问题，并将其输出转换为概率。
逻辑回归的过拟合问题与正则化：
• 探讨逻辑回归如何通过 L1 和 L2 正则化（Regularizer）来对抗过拟合问题。
• 学习正则化技术的原理和在模型训练中的应用。
Python Machine Learning Part3 - Tree Model & Ensemble Model
"Mastering Tree-Based and Ensemble Models in Machine Learning"
Basic Decision Tree Explained:
• Understand the fundamental concepts of decision trees, one of the most intuitive and widely used machine learning algorithms.
Key Concepts in Decision Tree Model:
• Dive deep into information gain, including Shannon Entropy and Gini Impurity, which are crucial for building effective decision trees.
Building Decision Trees with Sklearn:
• Learn how to use Sklearn, a popular Python library, to construct and train basic decision tree models.
Classification Model Performance Measurement:
• Explore various metrics and methods to assess the performance of classification models.
Feature Importance and Tree Visualization Techniques:
• Gain insights into interpreting and visualizing decision trees, including understanding feature importance.
Combatting Overfitting in Tree Models:
• Discover strategies like Pruning and Ensemble methods to prevent overfitting in tree-based models.
Parallel Tree Ensembles: Bagging and Random Forest:
• Learn about ensemble models that operate in parallel, such as Bagging and Random Forests, and their role in improving model performance.
Sequential Tree Ensembles: Boosting Tree Family:
• Understand the concept of Boosting and explore various boosting algorithms like GBDT, AdaBoost, XGBoost, LightGBM, and CatBoost.
In-Class Exercise: Income Prediction Using Different Tree Models:
• Apply your learning in a practical exercise to predict income using various tree models.
Hybrid Ensemble Models:
• Explore advanced ensemble techniques like Majority Vote Classifier and Stacking Classifier for improved model accuracy and robustness.
Python Machine Learning Part 4 - Pre process - Validation - Parameter Tuning
"Building End-to-End Machine Learning Models: A Comprehensive Guide"
Categorical Data Encoding:
• Learn the techniques to encode categorical data, transforming it into a format that can be easily used by machine learning algorithms.
Scaling Techniques:
• Understand when and how to scale your data, exploring different scaling techniques and their applications.
Saving Models with Pickle or Joblib:
• Discover how to save and load machine learning models and scalers using Pickle and Joblib for future use.
The Curse of Dimensionality:
• Delve into the challenges of high-dimensional spaces, exploring the concepts of dimension reduction versus dimension selection.
Dimension Reduction with PCA:
• Get hands-on experience with Principal Component Analysis (PCA) for dimensionality reduction.
Building Machine Learning Pipelines with Sklearn:
• Learn how to streamline the process of building machine learning models using Sklearn pipelines.
Validation Explained:
• Understand the importance of model validation and techniques to assess the performance of your model.
Parameter Tuning with Grid Search:
• Master the technique of Grid Search for hyperparameter tuning to optimize your model.
Model Performance Measurement:
• Explore key performance metrics such as Confusion Matrices, ROC, and AUC.
Practical Exercises:
• Apply your knowledge in practical exercises, including predicting the severity of accidents in Queensland and income prediction.