UNSWcomp9313大数据管理课程指南

comp9313是新南威尔士大学(UNSW)大数据管理这门课程。大数据管理是对大量结构化和非结构化数据的组织、管理和治理。

一、课程指南

本课程介绍了管理大数据所涉及的核心概念和技术。主题包括：大数据和大数据分析的特点、存储系统(如HDFS、S3)、操作大数据的技术(如MapReduce、流媒体、压缩)、编程语言(如Spark、PigLatin)、查询语言(如Jaql、Hive)、数据库系统(如noSQL系统、HBase)和典型应用(如推荐系统、降维、文本分析)。

二、管理大数据的首要挑战

大数据通常是复杂的--除了其数量和种类之外，它通常还包括流数据和其他类型的数据，这些数据是以高速创建和更新的。因此，处理和管理大数据是复杂的任务。对于数据管理团队来说，大数据部署所面临的最大挑战包括以下几点：

1.处理大量的数据。大数据集不一定要大，但它们通常是大的，而且在许多情况下，它们是巨大的。此外，数据经常分散在不同的处理平台和存储库中。通常所涉及的数据量的规模使其难以有效地管理所有的数据。

2.修复数据质量问题。大数据环境通常包括尚未清理的原始数据，包括来自不同源系统的数据，这些数据的输入或格式可能不一致。这使得数据质量管理成为团队的挑战，他们需要识别和修复数据集中的数据错误、差异、重复输入和其他问题。

3.整合不同的数据集。与管理数据质量的挑战类似，大数据的数据整合过程也很复杂，因为需要将不同来源的数据拉到一起用于分析。此外，由于大数据的多样性和处理速度，传统的提取、转换和加载(ETL)整合方法往往不适合大数据。

4.为分析应用准备数据。高级分析的数据准备可能是一个漫长的过程，而大数据使其更具挑战性。原始数据集往往必须为个人应用进行整合、过滤、组织和即时验证。大数据系统的分布式性质也使收集所需数据的工作更加复杂。

5.确保大数据系统能够按需扩展。大数据工作负载需要大量的处理和存储资源。如果大数据系统的设计不能提供所需的处理能力，这将对大数据系统的性能造成压力。不过，这是一个平衡的行为：部署容量过剩的系统会给企业增加不必要的成本。

6.管理大数据集。如果没有足够的数据治理监督，来自不同来源的数据可能不会被协调，敏感数据可能会被收集和使用不当。但是，由于大数据环境所包含的非结构化和半结构化的数据，加上经常包含的外部数据源，治理大数据环境会带来新的挑战。

三、大数据管理的最佳实践

大数据管理做得好，为成功的分析计划奠定了基础，有助于推动企业更好地进行商业决策和战略规划。以下是大数据项目中应采用的最佳实践清单，以使其步入正轨：

1.先期制定详细的战略和路线图。企业应首先创建一个大数据战略计划，定义业务目标，评估数据需求，并绘制应用程序和系统部署图。该战略还应该包括对数据管理流程和技能的审查，以确定需要填补的任何空白。

2.设计并实施一个坚实的架构。一个精心设计的大数据架构包括支持数据管理活动的各层系统和工具，从摄取、处理和存储到数据质量、集成和准备工作。

3.保持对业务目标和需求的关注。数据管理团队必须与数据科学家、其他分析师和业务用户紧密合作，确保大数据环境满足业务对信息的需求，以实现更多的数据驱动决策。

4.消除互不相干的数据孤岛。为避免数据整合问题，并确保相关数据可用于分析，大数据架构的设计应不含孤岛式系统。它还提供了连接现有数据孤岛作为源系统的机会，以便它们可以与其他数据集相结合。

5.在管理数据方面要灵活。数据科学家通常需要为机器学习、预测分析和其他类型的大数据分析应用定制操作数据的方式--在某些情况下，他们希望分析全套原始数据。这使得数据管理和准备的迭代方法变得至关重要。

6.将强大的访问和治理控制落实到位。虽然治理大数据是一个挑战，但它是必须的，同时还有强大的用户访问控制和数据安全保护。这部分是为了帮助企业遵守数据隐私法，规范个人数据的收集和使用，但管理良好的数据也可以带来更高质量和更准确的分析。

以上就是关于comp9313大数据管理课程指南的全部内容，海马课堂专业课程辅导，2100+严选硕博学霸师资，针对学生的薄弱科目和学校教学进度，匹配背景相符的导师，根据学生情况进行1V1专属备课，上课时间灵活安排，中英双语详细讲解课程中的考点、 难点问题，并提供多方位的课后辅导，辅助学生掌握全部课程知识，补足短板。