课程主页: https://www.coursera.org/learn/developing-pipelines-on-dataflow
课程概述
在这个无服务器数据处理的课程系列中，我们将深入探讨如何使用Beam SDK开发数据处理管道。这是Dataflow课程的第二部分，课程内容丰富，涵盖了从Apache Beam概念到数据流处理的各个方面。
为什么选择这个课程？
对于想要提高数据处理能力的开发者来说，这门课程提供了全面的学习材料。尤其是对Apache Beam和Google Cloud Dataflow的介绍，使学员能够在实际项目中应用所学内容。
课程大纲
- 介绍：课程大纲及预期学习成果。
- Beam概念回顾：学习如何应用Apache Beam的核心概念来编写数据处理管道。
- 窗口、水印与触发器：学习在数据流处理中，如何通过窗口、时间戳和触发器来处理数据。
- 来源与去向：探讨Google Cloud Dataflow中输入和输出的各种类型。
- 结构化数据模式：引入模式的概念，帮助开发者表达结构化数据。
- 状态与定时器：学习如何在DoFn中实现有状态的转换，以提高数据处理的灵活性。
- 最佳实践：讨论最佳实践并回顾最大化Dataflow管道性能的常见模式。
- Dataflow SQL与DataFrames：逐步介绍这两种新的API，帮助开发者在Beam中表达业务逻辑。
- Beam笔记本：了解Beam笔记本，帮助Python开发者在Jupyter环境中逐步开发管道。
- 总结：课程回顾，巩固所学知识。
总结
这门课程已经为我提供了达成数据处理的很多新方法，使我在工作中可以更高效地处理大规模的数据流。如果你对无服务器数据处理和云计算感兴趣，我强烈推荐你报名参加这门课程！
课程主页: https://www.coursera.org/learn/developing-pipelines-on-dataflow