课程主页: https://www.coursera.org/learn/serverless-data-processing-with-dataflow-operations
在Coursera上推出的《无服务器数据处理与 Dataflow: 运营》课程中，我们将深入探讨Dataflow的运营模型组成部分。本课程的最后部分将为您介绍一系列实用的工具和技巧，帮助您排查和优化Dataflow管道的性能问题。课程包含多个模块，涵盖监控、日志记录和错误报告、故障排查与调试、性能优化、测试与CI/CD、系统的可靠性以及Flex模板等内容，帮助学员全面了解如何确保数据平台的顺畅运行。
对于希望提升数据管道效率的工程师来说，这门课程尤其重要。首先，在监控模块中，您将学习如何使用作业列表页面过滤和监测您想要调查的作业，了解作业图、作业信息和作业指标的集成如何为您的Dataflow作业提供全面的总结。
接下来，在日志记录和错误报告的模块中，您将学会如何操作日志面板，并获得集中式错误报告页面的使用技巧，进一步提高问题追踪的能力。
故障排查和调试是接下来我们需要覆盖的关键部分。在这一模块中，我们将探讨Dataflow管道常见的四种失败模式，以及如何有效应对这些问题。
为了在开发批处理和流式管道时提高性能，本课程还将讨论相关的最佳实践。
此外，您还将了解到如何对Dataflow管道进行单元测试，并探索如何利用框架和特性来简化CI/CD工作流。
经过这一系列的学习，您将掌握构建能够抵御数据损坏和数据中心故障的可靠系统的方法。最后，我们将介绍Flex模板，这一强大的功能可帮助数据工程团队标准化并重用Dataflow管道代码，从而解决许多运营上的挑战。
通过本课程，你将能够掌握Dataflow的核心技术，提升数据处理的效率，推动企业数据平台的健康发展。
课程主页: https://www.coursera.org/learn/serverless-data-processing-with-dataflow-operations