大数据olap的几种实现,数据仓库如何建模?

数据仓库数据建模的几种思路数据仓库与两种典型的数据仓库建模理论相联系:基于主题领域的维度建模和实体关系建模，分别以Kimball和Immon为代表。什么是olap？一、数据采集和预处理对于各种来源的数据，包括移动互联网数据和社交网络数据，这些海量的结构化和非结构化数据是分散的，也就是所谓的数据孤岛，这个时候，这些数据就没有意义了，数据采集就是将这些数据写入数据仓库，将零散的数据整合在一起，进行综合分析。

推荐楼主试试FineBI。这个工具的多维分析让我记忆犹新。联机分析处理(OLAP)系统是数据仓库系统最重要的应用。它专门用于支持复杂的分析操作，侧重于为决策者和高级管理人员提供决策支持。它可以根据分析师的要求，快速、灵活地处理数据量较大的复杂查询，并将查询结果以直观易懂的形式提供给决策者，使其准确把握企业(公司)的经营状况，了解对象的需求，做出正确的规划。

什么是在线分析处理(OLAP)？OLAP的概念是由关系数据库之父E.F.Codd于1993年首先提出的。他还提出了关于OLAP的12条标准。OLAP的提议引起了巨大的反响。作为一种产品，OLAP明显不同于在线事务处理(OLTP)。今天的数据处理可以大致分为两类:联机事务处理(OLTP)和联机分析处理(OLAP)。

被定义为以下软件工具的集合:最终用户查询和报告工具。它是专为支持主要用户访问原始数据而设计的，不包括适合专业人员的成品报告生成工具。OLAP工具提供了一个多维数据管理环境，其典型应用是业务问题的建模和业务数据的分析。OLAP也被称为多维分析。数据挖掘软件。使用神经网络和规则归纳等技术来发现数据之间的关系，并根据数据进行推断。

它包括用于数据转换、管理和访问的预配置软件，通常还包括一些业务模型，如财务分析模型。联机分析处理(OLAP)的概念是由关系数据库之父E.F.Codd于1993年首先提出的，他还提出了关于OLAP的12条准则。OLAP的提议引起了巨大的反响。作为一种产品，OLAP明显不同于在线事务处理(OLTP)。

Lambda架构的核心思想是“流与批的融合”，因为随着机器性能和数据框架的不断完善，用户其实并不关心底层如何运行，批处理还是流处理，而是可以按照统一的模型返回结果，这就是Lambda架构诞生的原因。现在很多应用如Spark、Flink都支持这种结构，即数据进入平台后，你可以选择批处理或者流运行，但无论如何一致性都是一样的。

适合的场景也是相对固定清晰的地方。ClickHouseClickhouse由俄罗斯yandex公司开发。专为在线数据分析而设计。Clickhouse最大的特点首先是速度快。为了快速采用列存储，列存储更好的支持压缩，压缩后的数据传输更小，所以更快。同时支持碎片化、分布式执行和SQL。