数据工程12期 阶段性demo展示 Team:DE-ers
数据工程全栈班第12期DE-ers小组的阶段性Demo展示,回顾了进入项目一个月以来的开发进展。团队展示了数据管道(Data Pipeline)的初步架构设计和实现,包括数据源接入、ETL流程搭建和初步的数据质量校验。 技术栈涉及AWS云服务(S3、Glue、Lambda)、Python数据处理脚本、以及数据仓库的Schema设计。团队还分享了在协作开发中遇到的挑战和解决方案。 适合对数据工程项目实战感兴趣的学习者,可以了解Data Pipeline从设计到实现的真实过程。
标签: 数据工程, Data Pipeline, AWS, ETL, 团队项目
时长: 15:00
发布日期: 2023/4/27
本视频由匠人学院提供,涵盖数据工程相关知识点,帮助你系统学习和提升技能。