课程主页: https://www.coursera.org/learn/etl-and-data-pipelines-shell-airflow-kafka
在现代数据科学的世界中，如何有效处理和转化数据是一个至关重要的话题。Coursera上名为《ETL and Data Pipelines with Shell, Airflow and Kafka》的课程深入探讨了两种将原始数据转化为分析准备数据的方法：抽取、转换、加载（ETL）过程，以及抽取、加载、转换（ELT）过程。
课程的首个模块介绍了数据处理技术，突显了ETL和ELT的关键区别，包括数据变换的位置、灵活性、大数据支持及洞察时间。此模块对于需要快速响应和灵活处理的场景尤为重要。
接下来的模块将重点放在ETL与数据管道的工具和技术上，教授学员如何使用Bash脚本创建ETL管道，以及数据管道的各个过程，包括调度、触发、监控、维护和优化等。其中，流数据管道的概念也将在此处进一步展开，帮助学员理解在每时每刻都需要最新数据时如何使用此类管道。
第三个模块聚焦于使用Apache Airflow构建数据管道的优点，讲解如何用代码表达DAG（有向无环图），使数据管道更加可维护、可测试和便于协作。学员将学习如何使用Airflow的丰富UI简化数据管道的操作，并学习到其日志管理及可视化的相关知识。
在学习了Airflow后，学员将进入Apache Kafka的模块，这是一种流行的事件流处理工具。学员将了解Kafka的核心组件及其在事件流管道中的应用，比如生产者、消费者以及如何构建基于Kafka的事件流管道。
最后，课程将通过实际操作任务（如使用Apache Airflow创建ETL数据管道和使用Kafka创建流数据管道）来巩固所学知识。通过实际的案例，学员将提取、转换、加载数据到CSV文件，并在Kafka中创建主题进行流数据的处理。
总体来说，这门课程适合希望在数据处理领域深入发展的学员，通过系统的学习，实现对ETL和数据管道的全面理解和实践运用，是现代大数据工作的重要基础。
课程主页: https://www.coursera.org/learn/etl-and-data-pipelines-shell-airflow-kafka