课程主页: https://www.coursera.org/learn/serverless-data-processing-with-dataflow-foundations
课程简介
本课程为无服务器数据处理与Dataflow系列课程的第一部分,旨在帮助学员深入了解Apache Beam及其与Dataflow的关系。通过对Apache Beam的概述,学员将能理解其愿景及其可移植性框架的优势,让开发者能够使用自己喜欢的编程语言与执行后端。
课程大纲
课程从对Apache Beam编程模型和Google的数据流管理服务的快速回顾开始。接着,深入探讨了四个主要部分:
- Beam可移植性:了解Beam可移植性、Runner v2、容器环境以及跨语言转换。
- 分离计算与存储:探讨如何利用Dataflow实现计算与存储的分离,包括Dataflow Shuffle Service、Dataflow Streaming Engine和灵活资源调度。
- IAM、配额与权限:讨论运行Dataflow所需的各种IAM角色、配额和权限,确保数据处理的安全与高效。
- 安全性:了解在Dataflow上实现适当安全模型的方法。
总结
通过本课程的学习,学员将对Apache Beam有全面的认识,能够理解其与Dataflow之间的紧密联系,以及如何利用Dataflow的强大功能进行无服务器的数据处理。
课程主页: https://www.coursera.org/learn/serverless-data-processing-with-dataflow-foundations