悉尼大学DATA2001课程概览

分析大型数据需要综合运用数据处理、统计学、机器学习和领域知识等技术和方法。悉尼大学DATA2001就是一门关于这个的课程，这篇文章为大家简单介绍一下大型数据分析。

一、课程概览

本课程侧重于有效探索和分析大型数据集的方法和技术。一个城市的行人事故热点在哪里?根据用户在旅游网站上发布的信息，哪些是最受欢迎的旅游地点?结合和分析来自不同来源和数据库的数据的能力对于研究和行业的知情决策都至关重要。学生将学习如何从关系型、半结构型、时间序列型、地理空间型、图像型和文本型等数据科学项目中常见的各种数据模型中摄取、组合和汇总数据。

除了通过使用相关 Python 库加强编程技能外，本课程还将向学生介绍使用 SQL 进行声明式数据处理的概念，以及在关系数据库中分析数据。学生将获得来自社交媒体、交通、健康和社会科学等领域的数据集，并在小型使用案例中学习基本的探索性数据分析和挖掘技术。课程还将进一步让学生了解分析海量数据所面临的挑战，例如在多台计算机之间分割和分配数据和计算以处理 "大数据 "的想法。

二、分析数据集的 6 个步骤

1.清理数据

数据整理又称数据清理，是指从数据集中发现并纠正或消除不准确或重复记录的过程。在数据整理过程中，您将把原始数据转换成更有用的格式，为分析做好准备。

在开始分析之前，必须先清理数据。如果您要向业务团队展示您的研究结果，这一点尤为重要，因为业务团队可能会将数据用于决策目的。团队需要确信他们是根据可靠的信息源采取行动的。

2.确定正确的问题

完成清理过程后，您可能会对最终数据集产生很多疑问。通过分析可以挖掘出很多潜力。

确定您希望通过分析回答的最重要问题。这些问题应易于测量，并与特定业务问题密切相关。如果分析请求来自业务团队，请他们提供明确的细节，说明他们希望了解什么、期望了解什么以及如何使用这些信息。您可以利用他们的意见来决定哪些问题在分析中优先考虑。

3.将数据细分

将数据集细分为更小、更明确的组别通常很有帮助。对数据进行细分不仅可以使您的分析更易于管理，而且还能使分析保持在正确的轨道上。

例如，如果您想回答有关特定部门绩效的问题，您就需要按部门对数据进行细分。这样，您就能深入了解您所关注的群体，并确定每个群体之间可能存在的任何关系。

4.将数据可视化

数据分析最重要的部分之一是数据可视化，它是指创建数据图形表示的过程。数据可视化将帮助您轻松识别任何趋势或模式以及明显的异常值。

通过创建引人入胜的可视化数据表示，您还能有效地向关键利益相关者传达您的发现，他们可以迅速从可视化数据中得出结论。

您可以使用多种数据可视化工具来自动生成数据集的可视化表示，如 Microsoft Excel、Tableau 和 Google Charts。

5.使用数据回答问题

在对数据进行清理、整理、转换和可视化之后，重新审视您在数据分析过程开始时提出的问题。解释您的结果，并确定数据是否有助于您回答最初的问题。

如果结果没有定论，请尝试重新检查分析过程中的前一个步骤。也许你的数据集太大，应该进一步细分，也许有一种不同类型的可视化更适合你的数据。

6.补充定性数据

最后，在分析即将结束时，请记住数据集只是拼图的一部分。

将定量研究结果与定性信息结合起来至关重要，您可以使用问卷、访谈或推荐信来获取定性信息。虽然数据集能够告诉您发生了什么，但定性信息往往可以帮助您了解发生这种情况的原因。

海马课堂专业课程辅导，2100+严选硕博学霸师资，针对学生的薄弱科目和学校教学进度，匹配背景相符的导师，根据学生情况进行1V1专属备课，上课时间灵活安排，中英双语详细讲解课程中的考点、 难点问题，并提供多方位的课后辅导，辅助学生掌握全部课程知识，补足短板。