

Copyright ©2015- 海马课堂网络科技(大连)有限公司 办公地址:辽宁省大连市高新技术产业园区火炬路32A号创业大厦A座18层1801室

添加微信
咨询辅导

数据建模是数据专业人员中的一个热门话题,但这个术语往往被过度使用或过于含糊。数据建模不仅仅是为每个仪表盘建立一个单一的视图,它是建立一个业务流程的模型。你可能会使用各种数据建模语言,包括SQL、dbt、LookML和ThoughtSpot建模语言(TML)。 在这篇文章中,我们对主要的建模语言进行归纳。
首先,让我们看看建模语言和与之相关的任务,从那些针对程序员的语言到那些旨在进行自我服务分析的语言。
1.SQL
显然,了解SQL分析功能为用户提供了详细的数据操作能力,但它也需要最高水平的技术技能和培训,SQL通常需要外部工具和管道来进行控制流和数据整合。
2.LookML
谷歌云的LookML建模语言是作为代码编写的。因此,它是为技术用户和对SQL和数据库设计原则有良好理解的开发人员设计的;使用LookML,开发人员创建Looker所谓的 "探索者"。一个 "探索者 "是一个来自现有视图或连接的数据视图,类似于一个dbt模型或ThoughtSpot电子表格。
3.dbt
dbt的数据建模侧重于转换优先的方法,提供了一种叫做Jinja的模式语言、简单的SQL命令来创建管道和模型、数据测试和DAG。dbt还开发了一个开放的语义层,允许用户创建自己的数据模型并建立自己的模型,积极整合到各种现代数据栈工具中,包括分析、目录和可观察性工具。
4.TML
ThoughtSpot建模语言是所有ThoughtSpot资产的基于YAML的表示,包括工作表、视图、SQL视图、表、答案和实时表 TML是一个数据可视化的角度,采用低代码的建模方法。TML旨在使没有技术背景的用户能够使用数据建模和数据可视化,它是在人工智能支持的低代码网络界面中创建和处理的,减少了用户的技术负担,实现了自助分析。
1.用于自助分析的数据模型
在创建用于自助分析和研究的数据模型时使用TML。为了真正发挥自助分析的优势,必须对数据进行适当的建模,以便业务用户可以随时提出特别的问题并进行搜索,而不会增加认知负荷或挑战数据的好奇心。
在数据建模中,就像大多数软件开发一样,会出现一些常见的问题,也有一些可重复使用的解决方案。我们已经确定了复杂分析中最常见的模式,并将其概括为易于搜索的结构。其中一些常见的模式,否则就需要实施一个数据小组,这些模式如下
a.具有FK/PK关系的星形模式
b.动态群组定义
c.多种事实的聚集(悬崖陷阱和扇形陷阱)
d.混合事实
TML通过使多种角色利用数据,包括非技术用户,来增强自助分析的能力。这些人可以使用一个直观的、低代码的IDE来创建和修改分析体验层,包括答案、Spot IQ结果和Liveboard。此外,TML的数据建模能力,当与电子表格相结合时,可以将复杂的问题抽象化,这意味着需要发送到数据工程团队进行开发的模型更少。
2.嵌入式分析中可重复使用和可编写脚本的模型
每个数据团队都希望降低成本,提高运营效率。希望以事实和数据为导向的具有前瞻性的数据团队正在接受DataOps和CI/CD。
利用TML将分析纳入产品,是增加吸收、推动采用和为客户提供更大价值的最佳方式之一。但这也意味着必须将分析作为软件对待,并使用DataOps、CI/CD和脚本以自动化的方式部署。
3.语义层和数据转换
语义层是一种抽象和简化数据、层次结构、度量、公式和转换的模型,其主要目标是将业务用户从底层数据的技术复杂性中解放出来,同时继续对业务流程进行建模。一个构造良好的语义层使用商业术语、层次结构和逻辑来帮助商业用户理解并与底层数据互动。
海马课堂专业课程辅导,2300+严选硕博学霸师资,针对学生的薄弱科目和学校教学进度,匹配背景相符的导师,根据学生情况进行1V1专属备课,上课时间灵活安排,中英双语详细讲解课程中的考点、难点问题,并提供多方位的课后辅导,辅助学生掌握全部课程知识,补足短板。
阅读原文:https://www.highmarktutor.com/news/13459_59.html
版权作品,未经海马课堂 highmarktutor.com 书面授权,严禁转载,违者将被追究法律责任。
hmkt088