千锋教育-做有情怀、有良心、有品质的职业教育机构

当前位置:首页  >  关于学院  >  技术干货  >  大数据技术干货  >  正文

离线数仓的分层是如何分层的?

来源:千锋教育
发布时间:2022-09-28 14:40:32
分享

离线数仓的分层是如何分层的

  1、离线数仓的分层通常是三层:ODS层、DWD层、DWS层、ADS层,其中ODS层(操作明细)、DWD层(数据仓库明细)、DWS层(数据仓库公用汇总)这三层通常被称为公共层,是数据清洗、加工、聚合的重点,ADS层(应用数据层)。我们的项目也不另外,就是按这个套路建设。

  2、那你觉得这个分层能满足你们当前的现状吗?通常是考察你对业务的熟悉度和业务与分层之间关系,大一点的公司可以说还是挺满足的,中小公司你可以说还有需要优化的地方,比如:由于某些转换率类型的指标加工比较复杂或者算法本身就比较复杂的指标,其实最好引入temp层;由于维度独立性不太好,所以最好引入独立的DIM层。总之一句话:需要足够了解业务和数据,才能说分层好坏。

  3、他说不需要优化吗?根据2问,说出问题原因,分层优化是最好:引入temp层和DIM层。

  4、数据模型使用常见的维度建模,三范式建模很少用,如果要说也需要三范式和维度搭配,但是不建议说三范式。

  整体就是维度建模理论为指导思想开始模型构建,ODS层谈不上模型,因为他几乎保持和原始数据一摸一样,如果非要说模型那就是关系模型,因为几乎业务库都是关系型表;DIM层根据星型建模 ;DWD层是面向业务来进行维度建模;DWS层是面向主题来进行维度建模;ADS是面向需求建模,所谓的维度建模其实就是尽量的维度退化到DWD层和维度补充到DWS层。具体模型可以根据项目的具体业务配合说上几个即可。

声明:本站稿件版权均属千锋教育所有,未经许可不得擅自转载。

相关推荐

  • kafka集群搭建详细步骤 搭建Kafka集群涉及以下步骤:1.**安装和配置Java**:确保每台服务器都安装了适当版本的Java,并设置了正确的环境变量。2.**下载和解压Kafka**:从官方网站下载Kafka的二进制发行
  • zookeeper安装配置为什么报错? 安装和配置ZooKeeper可能会出现各种错误。以下是一些常见的错误和对应的解决方法:1.**连接错误**:在配置ZooKeeper集群时,可能会出现连接错误,例如连接超时、连接被拒绝等。这通常是由于
  • zookeeper搭建集群 要搭建ZooKeeper集群,你需要按照以下步骤进行操作:1.下载和安装ZooKeeper:从ApacheZooKeeper的官方网站下载ZooKeeper的二进制发行版,并根据操作系统的要求进行安装
  • kafka怎么使用 Kafka是一种高吞吐量、可扩展的分布式消息队列系统,常用于构建实时流数据处理和事件驱动的应用程序。下面是使用Kafka的基本步骤:1.安装和配置Kafka:-下载Kafka:访问ApacheKafk
  • jointplot()函数的用法是什么? jointplot() 是 Seaborn 数据可视化库中的一个函数,用于绘制两个变量之间的二维关系,通常是散点图或密度图,同时绘制单变量的直方图或密度图。
  • highcharts和echarts的区别 功能:两个库都提供了丰富的图表类型和交互功能,但是 Highcharts在某些方面比Echarts 更强大,比如地图类型和导出功能。性能:Echarts的渲染速度比 Highcharts 更快,因为它使用了Canvas来绘制图表。