DP-203: Data Engineer Associate Certification Preparation

本课程将带你深入了解Azure中的数据存储和处理服务，包括但不限于以下几个关键组成部分：

1. Azure SQL Elastic Pool:

   • 学习如何配置SQL弹性池以管理和规模多个数据库的资源。
   • 了解弹性池的工作原理，包括如何在单个Azure SQL数据库服务器上共享资源。

2. Active Geo-Replication:

   • 配置Azure SQL数据库的地理复制，创建可读的次要数据库实例。
   • 学习如何在出现故障时手动触发 failover。

3. Azure Cosmos DB:

   • 创建Azure Cosmos DB账户并设置容器。
   • 了解Cosmos DB的多模型功能和全球分布式架构。

4. Azure Data Factory:

   • 创建数据工厂实例，并构建数据流程以移动和转换数据。
   • 使用Data Factory的各种连接器和活动来执行复杂的数据处理任务。

5. On-premise SQL Server Migration:

   • 迁移本地SQL Server到Azure SQL数据库的步骤和最佳实践。
   • 了解使用Azure Data Migration Service (DMS)和其他工具进行迁移的方法。

6. Azure DataBricks:

   • 创建并配置DataBricks工作区以处理大规模数据集。
   • 在Python或Scala notebook中编写代码以读取和处理数据。

7. Azure Data Lake:

   • 使用PolyBase等技术将数据加载到Azure SQL数据库存储过程中。
   • 学习如何从Data Lake中管理和访问大量数据，并将其转换为有用的格式。

8. Azure Data Warehouse:

   • 创建和配置Azure SQL数据仓库实例。
   • 使用T-SQL语句查询数据仓储中的数据，包括通过PolyBase的外部表进行数据加载。

9. Demo演示:

   • 实际操作演示，包括但不限于：
     • 在Azure Data Factory中创建管道和触发器。
     • 使用Data Factory将数据从Blob存储到SQL数据库（或反向）。
     • 利用DataBricks读取Data Lake中的数据，并执行数据处理任务。
     • 在Data Factory中使用循环和条件逻辑来控制数据流程的动态执行。
     • 将数据加载到SQL数据仓库，并利用PolyBase进行数据访问和处理。

以上内容构成了一个全面的课程框架，旨在帮助你掌握Azure平台上的数据存储、数据迁移和数据处理技术。通过实际操作演示，你将能够将所学知识应用到实际工作场景中，无论是在云环境内还是与本地系统集成。