关于数据仓库的概念、原理、建造办法论，网上已经有许多内容了，也有许多的经典书本，本文更想聊聊企业数据仓库项目上的架构和组件东西问题。
关于数据仓库，有一种简略粗犷的说法，便是“任何数据仓库都是经过数据集成东西衔接一端的原始数据和另一端的剖析界面的数据库”。
数据仓库用来办理企业巨大的数据集，供给转化数据、移动数据并将其出现给终端用户的存储机制。许多架构办法以这样或那样的方法扩展数据仓库的才能，咱们讲会集评论最实质的问题，在不考虑过多技能细节的情况下，整个层次架构能够被划分为4层：
大多数情况下，数据仓库是一个联系型数据库，包含了答应多维数据的模块，或许分为多个易于拜访的多主题信息域，最简略的数据仓库只要一层架构。
单层架构就以为着数据仓库与剖析接口直接衔接（直连），终端用户能够直接查询。但简略有其坏处和适用性：
传统上数据仓库的存储从 100GB 起，直连可能会导致数据查询处理速度慢，由于要直接从数据仓库查询精确的数据，或许是精确的输入，进程中要过滤掉许多非必要数据，这对数据库以及前端BI东西的功用要求适当高，根本功用不会太高。
别的，在处理杂乱维度剖析时功用也受限，由于其缓缓慢和不行猜测性，很少运用在大型数据渠道。要履行高档数据查询，数据仓库应该在初级实例下被扩展然后简化数据查询。
两层架构便是在前端运用层和 EDW 层增加了数据集市层。数据集市是包含特定主题域信息的初等级存储库。简而言之，它是一个在特定主题（例如出售、运营、商场等）下延伸了 EDW 的较小数据库。
这种方法处理了部分级数据查询和剖析的问题，每个部分都更简单拜访到所需数据，由于每个集市仅包含给定域信息，别的，数据集市约束了终端用户对数据的拜访规模，设置了一道数据权限。可是创立数据集市层需求额定的硬件资源，并集成它与数据渠道其他的数据库。
在数据集市层之上，咱们一般会运用联机剖析（OLAP）处理多维数据集（cube）。OLAP 数据集是一类从多维度描绘数据的特定数据库。联系型数据库只能表明二维数据，而 OLAP 答应在多维度下编译数据并且在维度之间移动。
OLAP专用于维度建模数据的剖析，然后经过BI将OLAP的成果以图表的方法展示出来。
OLAP 的事务价值在于答应对数据进行切片、切片以多维度剖析，以供给对一切企业数据或特定数据集市的拜访，现在根本已成为干流的架构运用。
底层：数据仓库服务器的数据库作为底层，一般是一个联系数据库体系，运用后端东西将数据收拾、转化并加载到该层。
中间层：数据仓库中的中间层是运用ROLAP或MOLAP模型完成的OLAP服务器。关于用户，此运用程序层显现数据库的笼统视图，这一层还充任终究用户和数据库之间的中介。
顶层：顶层是前端运用层，衔接数据仓库并从数据仓库获取数据或许API，一般的运用包含数据查询、报表制造、BI数据剖析、数据发掘还有一些其他的运用开发。
从功用运用和技能架构来打开，以下是一张中大型企业的很详细的数据仓库架构图了。
数据仓库的4层中心组件：底层源数据库（数据存储计划）、ETL、前端运用、还有OLAP服务。
底层的数据仓库服务器一般是一个联系数据库体系(各种表相关的sql统计会更便利一些，非联系型数据库现在在这方面仍是有所区别)。常用的计划有Oracle、db2、sqlserve 还有essbase、greenplum、teredata等数据仓库专业处理计划。
Teradata湖了，银职业运用较多，但本钱也是真的贵，现在咱们做项目较多的是用Greenplum，算是业界最快和最高性价比的高端数据仓库处理计划，Greenplum是依据PostgreSQL的，于2015年开源。我知道的国内四大行有3家在用，5大物流公司有4家在用，不少公司在从Teradata 搬迁到 GP。
这套计划有多通用不必多说了，一般是这样的组合：TB级数据用PG，百TB级数据用GP，PB级i上数据用Hadoop。
下面收拾了一张传统数据仓库架构、GP还有Hadoop大数据渠道的比照图。
数据来历、转化和搬迁东西用于履即将数据转化为数据仓库中的一致格局所需的一切转化、摘要和一切更改，它们也称为提取、转化和加载东西。其功用包含:
全量抽取：适用于数据量小且不简单判别其数据产生改动的比方联系表，维度表，装备表等
数据转码：把一个源数据顶用编码表明的字段经过相关编码表转化成代表其实在含义的值
数据规范一致：比方在源数据中表明男女的方法有许多种，在抽取的时分直接依据模型中界说的值做转化。
数据仓库渠道的树立，终究是为了收拾出有用数据、供给有价值信息，协助事务做出正确决议计划。
前端运用东西首要便是和数据仓库不同环节的数据交互，这些运用一般能够分为4类：
其间数据剖析东西首要针对OLAP服务器，报表东西、数据发掘东西首要针对数据仓库。
一般用来生成一些固定类报表，自动化报表，支撑打印和核算等大批量批处理作业。
盛行的报表东西，在旧数据仓库年代首要是IBM的BO、Oracle的BIEE、还有微柔和cognos，全体打包在数据仓库处理计划里，报表作为一个组件存在。可是跟着传统型数仓，架构重本钱贵，许多公司在项目上会自己考虑规划架构，而不是直接强套贵重的处理计划，包含许多开源组件/渠道的运用。
有关报表东西，现在项目上用的比较多的是帆软FineReport，针对不同企业数仓架构以及报表需求的适用性较广。比方对接各种数据库直接生成报表；对收集收拾后的数据进行多维报表展示，支撑事务剖析报表；对接集团性数据仓库，构建数据中心渠道，构成决议计划剖析渠道。
BI一般都集成了OLAP服务器和报表展示功用。剖析型BI依据多维数据库的概念，能多维视角剖析数据，一般是从数据仓库中抽取详细数据的一个子集并经过必要的集合存储到OLAP存储器中供前端BI剖析东西读取。
BI在前端经过拖拽数据字段，多维度施行展示数据，终究生成各种剖析陈述。常用的BI东西有PowerBI、Tableau、FineBI，还有开源的superset。个人运用多用前两者，企业项目上选型多用FineBI，由于要考虑功用、服务计划等。剩下便是自研或许开源，superset算是比较公认的开源BI。
BI东西做什么的不多说了，在项目选型的时分首要考虑上手难度（考虑没技能根底的事务用），数据处理功用，其他便是技能选型的事，还有本钱。
OLAP是将数据多维视角出现剖析，数据发掘则是运用的算法来提醒数据的规律性，比方相关性、方式和趋势等。数据发掘东西便是做这个的，它能让一些算法和进程自动化。
举个比方，比方银行里数据仓库以面向“客户”为主题进行数据的存储，OLAP能够完成数据依照客户的根本信息、储蓄账户信息、前史余额信息、银行买卖日志等，以报表或许可视化的方法出现剖析，多方面把握客户动态，发现数据的问题，更好的针对不同类型用户进行特定性营销。而数据发掘则是经过前史数据树立模型，在拟合前史的根底上，剖析未来趋势，判别哪些因素的改动将很可能意味着客户的终究丢失，从而防止其产生。
常用的数据发掘东西，R、Python还有SPSS，根本都是开源个人可用的。和BI和报表不同，市面上少有为客户供给定制化数据剖析和发掘的商业东西或许项目服务，由于职业性太强，需求十分熟悉事务、数据、渠道，所以我见过根本都是自己养数据剖析团队或许挖这类的人才。
以上报表型、剖析型的数据产品，但也会有延申出来的各种特定事务的数据决议计划体系，比方银职业依据办理层监控的的行长驾驶舱、零售业依据门店数据运营的决议计划体系，以及电商渠道的营销顾问（输入营销方针及参数，比方要展开双十一母婴商场的促销活动，体系能够依据以往海量数据核算出应该挑选什么品类的产品，在什么用户群中，以什么方式展开活动作用会更佳），都是依据这样的逻辑——依据事务深度运用。此时数仓便是供给一个服务渠道的人物，比方现在很火的数据中台也大体是这个逻辑，将数据服务化，详细不明白就不布鼓雷门了。
在这三层之间其实还有中间层OLAP服务器，典型完成为ROLAP模型或MOLAP模型。现在许多老练的BI东西都是集成了OLAP服务器的，所以一般咱们只需求挑选ETL东西以及存储计划和可视化BI计划即可，所以OLAP本文也就不多讲了。
