美国数据工程专业课堂学习指南

数据工程是设计和构建系统的过程，让人们能够收集和分析来自多种来源和格式的原始数据。这些系统使人们能够找到数据的实际应用，从而使企业得以蓬勃发展。这篇文章为大家带来美国数据工程专业课堂学习指南。

一、数据工程为何重要?

各种规模的公司都有大量不同的数据需要梳理，以回答关键的业务问题。数据工程旨在支持这一过程，使数据消费者(如分析师、数据科学家和高管)能够可靠、快速和安全地检查所有可用数据。

数据分析具有挑战性，因为数据由不同的技术管理，并存储在不同的结构中。然而，用于分析的工具却假定数据由相同的技术管理并存储在相同的结构中。这种裂痕会让任何试图回答业务绩效问题的人头疼不已。

例如，考虑一个品牌收集的有关其客户的所有数据：

一个系统包含账单和发货信息

另一个系统保存订单历史记录

其他系统存储客户支持、行为信息和第三方数据

这些数据结合在一起，提供了一个全面的客户视图。然而，这些不同的数据集都是独立的，这就很难回答某些问题，比如哪类订单导致的客户支持成本最高。

数据工程将这些数据集统一起来，让您快速高效地找到问题的答案。

二、数据工程师做什么?

数据工程是一种需求量越来越大的技能。数据工程师负责设计统一数据的系统，并帮助您浏览数据。数据工程师执行许多不同的任务，包括

获取：查找业务中所有不同的数据集

清理：查找和清理数据中的任何错误

转换：为所有数据提供通用格式

消除歧义：解释可能有多种解释方式的数据

重复数据删除删除重复的数据副本

完成上述工作后，数据可存储在中央存储库中，如数据湖或数据湖房。数据工程师还可以将数据子集复制并移动到数据仓库中。

三、为什么需要通过数据工程处理数据?

数据工程师在设计、运行和支持为现代数据分析提供动力的日益复杂的环境方面发挥着至关重要的作用。一直以来，数据工程师都在精心设计数据仓库模式，其表结构和索引旨在快速处理查询，以确保足够的性能。随着数据湖的兴起，数据工程师需要管理更多的数据，并将其交付给下游数据消费者进行分析。存储在数据湖中的数据可能是非结构化和未格式化的--在业务从中获取价值之前，数据工程师需要关注这些数据。

幸运的是，一旦通过数据工程对数据集进行了全面清理和格式化，数据集就能更容易、更快速地读取和理解。由于企业在不断地创建数据，因此找到能够自动完成其中一些流程的软件非常重要。

正确的软件堆栈可以从数据中提取大量信息和价值，为数据创建端到端的旅程，即 "数据管道"。当信息通过管道时，可能会经过多次转换、丰富和汇总。

四、数据工程工具和技能

数据工程师使用许多不同的工具来处理数据。他们使用一套专业技能来创建端到端数据管道，将数据从源系统传送到目标目的地。

数据工程师使用各种工具和技术，包括

ETL 工具：ETL(提取、转换、加载)工具在系统间移动数据。它们访问数据，然后应用规则，通过各种步骤 "转换 "数据，使其更适合分析。

SQL：结构化查询语言(SQL)是查询关系数据库的标准语言。

PythonPython 是一种通用编程语言。数据工程师可以选择使用 Python 来完成 ETL 任务。

云数据存储：包括 Amazon S3、Azure Data Lake Storage (ADLS)、Google Cloud Storage 等。

查询引擎：引擎针对数据运行查询以返回答案。数据工程师可以使用 Dremio Sonar、Spark、Flink 等引擎。

海马课堂专业课程辅导，2100+严选硕博学霸师资，针对学生的薄弱科目和学校教学进度，匹配背景相符的导师，根据学生情况进行1V1专属备课，上课时间灵活安排，中英双语详细讲解课程中的考点、 难点问题，并提供多方位的课后辅导，辅助学生掌握全部课程知识，补足短板。