加拿大UQ留学软件工程课程辅导之建模语言

数据建模是数据专业人员中的一个热门话题，但这个术语往往被过度使用或过于含糊。数据建模不仅仅是为每个仪表盘建立一个单一的视图，它是建立一个业务流程的模型。你可能会使用各种数据建模语言，包括SQL、dbt、LookML和ThoughtSpot建模语言(TML)。 在这篇文章中，我们对主要的建模语言进行归纳。

一、数据建模语言概述

首先，让我们看看建模语言和与之相关的任务，从那些针对程序员的语言到那些旨在进行自我服务分析的语言。

1.SQL

显然，了解SQL分析功能为用户提供了详细的数据操作能力，但它也需要最高水平的技术技能和培训，SQL通常需要外部工具和管道来进行控制流和数据整合。

2.LookML

谷歌云的LookML建模语言是作为代码编写的。因此，它是为技术用户和对SQL和数据库设计原则有良好理解的开发人员设计的;使用LookML，开发人员创建Looker所谓的 "探索者"。一个 "探索者 "是一个来自现有视图或连接的数据视图，类似于一个dbt模型或ThoughtSpot电子表格。

3.dbt

dbt的数据建模侧重于转换优先的方法，提供了一种叫做Jinja的模式语言、简单的SQL命令来创建管道和模型、数据测试和DAG。dbt还开发了一个开放的语义层，允许用户创建自己的数据模型并建立自己的模型，积极整合到各种现代数据栈工具中，包括分析、目录和可观察性工具。

4.TML

ThoughtSpot建模语言是所有ThoughtSpot资产的基于YAML的表示，包括工作表、视图、SQL视图、表、答案和实时表 TML是一个数据可视化的角度，采用低代码的建模方法。TML旨在使没有技术背景的用户能够使用数据建模和数据可视化，它是在人工智能支持的低代码网络界面中创建和处理的，减少了用户的技术负担，实现了自助分析。

二、三个数据用例以及相应的建模语言

1.用于自助分析的数据模型

在创建用于自助分析和研究的数据模型时使用TML。为了真正发挥自助分析的优势，必须对数据进行适当的建模，以便业务用户可以随时提出特别的问题并进行搜索，而不会增加认知负荷或挑战数据的好奇心。

在数据建模中，就像大多数软件开发一样，会出现一些常见的问题，也有一些可重复使用的解决方案。我们已经确定了复杂分析中最常见的模式，并将其概括为易于搜索的结构。其中一些常见的模式，否则就需要实施一个数据小组，这些模式如下

a.具有FK/PK关系的星形模式

b.动态群组定义

c.多种事实的聚集(悬崖陷阱和扇形陷阱)

d.混合事实

TML通过使多种角色利用数据，包括非技术用户，来增强自助分析的能力。这些人可以使用一个直观的、低代码的IDE来创建和修改分析体验层，包括答案、Spot IQ结果和Liveboard。此外，TML的数据建模能力，当与电子表格相结合时，可以将复杂的问题抽象化，这意味着需要发送到数据工程团队进行开发的模型更少。

2.嵌入式分析中可重复使用和可编写脚本的模型

每个数据团队都希望降低成本，提高运营效率。希望以事实和数据为导向的具有前瞻性的数据团队正在接受DataOps和CI/CD。

利用TML将分析纳入产品，是增加吸收、推动采用和为客户提供更大价值的最佳方式之一。但这也意味着必须将分析作为软件对待，并使用DataOps、CI/CD和脚本以自动化的方式部署。

3.语义层和数据转换

语义层是一种抽象和简化数据、层次结构、度量、公式和转换的模型，其主要目标是将业务用户从底层数据的技术复杂性中解放出来，同时继续对业务流程进行建模。一个构造良好的语义层使用商业术语、层次结构和逻辑来帮助商业用户理解并与底层数据互动。

海马课堂专业课程辅导，2300+严选硕博学霸师资，针对学生的薄弱科目和学校教学进度，匹配背景相符的导师，根据学生情况进行1V1专属备课，上课时间灵活安排，中英双语详细讲解课程中的考点、难点问题，并提供多方位的课后辅导，辅助学生掌握全部课程知识，补足短板。