课程主页: https://www.coursera.org/learn/source-systems-data-ingestion-and-pipelines
课程概述
在这个数字化迅速发展的时代，掌握数据摄取和管道管理的技能是每个数据工程师不可或缺的能力。《源系统、数据摄取与管道》这门Coursera课程为学习者提供了全面的学习体验，探索如何高效管理和处理数据。
课程大纲
第一周：与源系统合作
在第一课中，我们将深入了解数据工程师常用的源系统。第二课则教会我们如何连接各种源系统，并解决常见的连接问题。
第二周：数据摄取
这一周，我们将深入研究批次和流式摄取模式，识别各自的应用场景和注意事项，并构建一个批次和一个流式摄取管道。对于批量摄取，我们将比较ETL和ELT两种范式，同时探索AWS服务在批量和流式摄取中的应用。
第三周：数据操作(DataOps)
第一课将探讨DataOps自动化实践，包括将CI/CD应用于数据和代码，以及使用基础设施即代码工具（如Terraform）来自动化资源的预置和管理。第二课将关注DataOps的可观察性和监控实践，包括使用Great Expectation监控数据质量，以及使用Amazon CloudWatch监控基础设施。
第四周：管道的调度、监控与自动化
这一周，我们将学习如何调度数据管道任务。将识别各种调度工具，但主要集中于Airflow——当前最受欢迎和广泛使用的工具之一。我们将探索Airflow的核心组件、Airflow UI，以及如何使用不同的Airflow特性创建和管理DAG。
课程推荐
这门课程设计周全，信息量丰富，适合数据工程师以及任何希望深入学习数据处理的开发者。无论你是新手还是有经验的专业人士，该课程都能为你提供宝贵的实践经验。
尤其是对于想要抓住流式处理和批量处理技术发展的同学，深入了解AWS和开源工具对于监控数据的重要性，更是提升职业竞争力的关键。
总结
总的来说，《源系统、数据摄取与管道》是一门全面的课程，精彩的内容和规范的教学安排，充分满足了学习者在数据处理领域的需求。强烈推荐给所有热爱数据的朋友们！
课程主页: https://www.coursera.org/learn/source-systems-data-ingestion-and-pipelines