个人概述
Leo Li 是一名经验丰富的数据工程师,擅长云计算、大数据处理和数据分析。他具备扎实的软件开发和数据工程背景,能够从数据概念化、架构设计到实际实施的全流程进行优化,并成功交付多个高质量的数据解决方案。Leo 在复杂技术环境中拥有丰富的经验,能够在快速迭代的环境中应对挑战,保持高效交付。
他精通 AWS 生态体系,擅长 ETL、数据湖、数据流处理、SQL 优化以及大数据架构设计,并具有丰富的 DevOps 实践经验。作为一名具有优秀团队合作精神的工程师,他致力于通过数据驱动优化业务流程,提升企业的数据能力。
工作经历
Slyp | Senior Data Engineer,Full-time
- 负责数据架构设计、数据管道构建及优化
- 设计并维护大数据处理框架,提升数据处理效率
- 参与 AWS 云端数据解决方案的实施,优化数据存储及查询性能
Cevo Australia | AWS Consultant,Sydney, Australia,Full-time
- 提供 AWS 解决方案咨询,优化企业数据基础架构
- 设计并实施高效的数据湖及数据流处理方案
Optus Sport | Senior Data Engineer,Full-time
- 设计并维护 AWS 上的数据管道,优化数据摄取及存储策略
- 构建和优化大数据处理框架,使用 AWS EMR、Glue 进行日志数据处理
- 设计无服务器数据湖架构,使用 AWS S3、Lambda、Athena、API Gateway、Step Functions 和 Kinesis
- 设计并实现实时数据流处理方案,提高业务运营效率
- 采用 CloudFormation 实现基础设施即代码(IaC)
Macquarie Group | Data Scientist,Sydney, Australia,Full-time
- 提取、清理并转换数据,构建集中的分析数据仓库
- 设计并部署机器学习模型(包括预测分析、聚类分析),提升业务运营效率
- 使用 SQL 和 Spark 进行特征工程,优化机器学习模型的表现
- 负责 Tableau 仪表盘设计,整合分析结果并向业务团队展示洞察
- 领导 AWS 数据科学工作台(Data Science Workbench)建设,支持团队进行高级分析
Insight Data Solutions,Software Engineer,Sydney, Australia,Full-time
- 设计并实现澳大利亚房产市场的各种房价指数模型(中位数、赫顿指数)
- 使用机器学习算法优化房产价格评估模型,提升预测准确度
- 进行数据特征工程,处理房产交易及销售数据
- 使用 AWS EMR 和 Hive 进行大规模数据分析
- 设计 Web API,通过 AWS Lambda 和 API Gateway 向客户提供数据分析结果
教育背景
Monash University ,Graduate Diploma in Data Science (Mathematics and Computer Science)
Monash University ,Master’s Degree in Business Information System Professional
Sun Yat-sen University ,Bachelor’s Degree in Applied Mathematics
核心技能
技术栈
- 编程语言:Python, SQL, R, Java, Shell Scripting
- 数据工程:ETL, 数据仓库, 数据湖, 数据建模, 数据流处理
- 云计算 & DevOps:AWS (EC2, S3, EMR, Lambda, DynamoDB, Glue, Kinesis, Athena, CloudFormation), Docker, Kubernetes
- 大数据处理:Apache Spark, Hadoop, Airflow, Apache Kafka
- 数据库 & 分析工具:PostgreSQL, MySQL, Redshift, Snowflake, MongoDB, Tableau, Kibana, QuickSight
- 基础架构 & 自动化:Terraform, CloudFormation, Jenkins, Bitbucket, CI/CD
软技能
- 解决复杂技术问题的能力
- 跨团队沟通与协作
- 项目管理与团队领导
- 业务需求分析与技术方案落地
认证与成就
- AWS Certified Security – Specialty
- AWS Certified Solutions Architect – Professional
- AWS Certified Solutions Architect – Associate
- AWS Certified Data Analytics – Specialty
- Certified Data Vault 2.0 Practitioner
- Deep Learning (Udacity)
- MongoDB for Python Developers
- Oracle Certified Associate
Leo Li 在数据工程、云计算及 DevOps 领域有丰富的实践经验,并持续深耕数据架构设计和优化。他擅长构建可扩展、高效、安全的数据基础设施,并通过数据驱动优化业务流程,助力企业实现数据价值的最大化。