Data Engineering on Microsoft Azure(DP-203)
课程介绍: 在本课中,学生将了解数据工程模式和实践,因为这涉及使用Azure数据平台技术处理批量和实时分析解决方案。学生将从了解用于构建分析性解决方案的核心计算和存储技术开始。随后,他们将探讨如何设计分析服务层并重点关注使用源文件的数据工程注意事项。学生将学习如何交互式地探索数据湖文件中存储的数据。他们还将学习可用于使用Azure Synapse Analytics或Azure Databricks中发现的Apache Spark 功能加载数据的各种摄取技术, 或如何 使用Azure Data Factory或Azure Synapse 管道进行摄取。学生还将学习使用与摄取数据相同的技术来转换数据的各种方法。学生将花时间在课上学习如何监控和分析分析系统的性能,以便能优化数据加载性能或针对系统发出的查询。他们将了解实现安全性以确保静止状态或传输中的数据受到保护的重要性。然后学生将展示如何使用分析系统中的数据来创建展示板,或在Azure Synapse Analytics中构建预测模型。 认证考试:DP-203: Data Engineering on Microsoft Azure 培训时长:3天 大纲: | | 第一部分: 探索数据工程工作负载的计算和存储选项 | l Azure Synapse Analytics 简介 l Azure Databricks 概述 l Azure Data Lake Storage 简介 l 介绍 Delta Lake 体系结构 l 使用 Azure 流分析处理数据流 | 第二部分: 使用 Azure Synapse Analytics 无服务器 SQL 池运行交互式查询 | l 浏览 Azure Synapse 无服务器 SQL 池功能 l 使用 Azure Synapse 无服务器 SQL 池查询湖中的数据 l 在 Azure Synapse 无服务器 SQL 池中创建元数据对象 l 在 Azure Synapse 无服务器 SQL 池中保护数据和管理用户 | 第三部分: Azure Databricks 中的数据 探索和转换 | l Azure Databricks 概述 l 在 Azure Databricks 中读取和写入数据 l 在 Azure Databricks 中使用 DataFrame l 在 Azure Databricks 中使用 DataFrames 高级方法 | 第四部分: 使用 Apache Spark 探索、转换数据并将其加载到数据仓库中 | l 通过 Azure Synapse Analytics 中的 Apache Spark 了解数据工程 l 在 Azure Synapse Analytics 中使用 Apache Spark 笔记本引入数据 l 使用 Azure Synapse Analytics 中 Apache Spark 池中的数据帧转换数据 l 在 Azure Synapse Analytics 中集成 SQL 和 Apache Spark 池 | 第五部分: 将数据引入并加载到数据仓库中 | l 在 Azure Synapse Analytics 中使用数据加载最佳做法 l 使用 Azure 数据工厂实现 PB 字节规模的引入 | 第六部分: 使用 Azure 数据工厂或 Azure Synapse 管道转换数据 | l 与 Azure 数据工厂或 Azure Synapse 管道进行数据集成 l 通过 Azure 数据工厂或 Azure Synapse 管道进行大规模的代码转换 | 第七部分: 协调 Azure Synapse 管道中的数据移动和转换 | l 协调 Azure 数据工厂中的数据移动和转换 | 第八部分: 使用 Azure Synapse Analytics 实现端到端安全性 | l 在 Azure Synapse Analytics 中确保数据仓库的安全 l 在 Azure Key Vault 中配置和管理机密 l 对敏感数据执行合规性控制 | 第九部分: 使用 Azure Synapse Link 支持混合事务分析处理 (HTAP) | l 使用 Azure Synapse Analytics 设计混合事务和分析处理 l 使用 Azure Cosmos DB 配置 Azure Synapse Link l 使用 Apache Spark 池查询 Azure Cosmos DB l 使用无服务器 SQL 池查询 Azure Cosmos DB | 第十部分: 使用流分析进行实时流处理 | l 使用 Azure 事件中心为大数据应用程序启用可靠消息传递 l 使用 Azure 流分析处理数据流 l 使用 Azure 流分析引入数据流 | 第十一部分: 使用事件中心和 Azure Databricks 创建流处理解决方案 | l 使用 Azure Databricks 结构化流处理流数据 |
课程其他信息: - 授课形式:线下+线上
- 授课地区:线下:上海
- 支持语言:中文授课
- 最低开班人数:5人
- 费用:6500元/人
- 开班频率:每月
联系方式: - 联系人:陈老师
- 联系电话:18964028337
- 联系邮箱:chenjia@nysoftland.com.cn
|