大数据技术的体系庞大而复杂，基础技术包括数据采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等技术类别和不同的技术层次。首先给出了一个通用的大数据处理框架，主要分为以下几个方面:数据采集与预处理、数据存储、数据清洗、数据查询分析和数据可视化。一、数据采集和预处理对于各种来源的数据，包括移动互联网数据和社交网络数据，这些海量的结构化和非结构化数据是分散的，也就是所谓的数据孤岛。这个时候，这些数据就没有意义了。数据采集就是将这些数据写入数据仓库，将零散的数据整合在一起，进行综合分析。
5、国内有哪些大数据平台能够处理复杂的OLAP场景,MPP或者Hadoop都可以...在国内有finebi、smartbi、用友手表、润乾报告等等。他们不是很多大数据平台。我们公司现在用的是finebi。通过傻瓜式的操作，用户只需在dashboard中简单拖拽即可创建各种数据可视化信息，并进行数据钻取、联动、过滤等操作，自由分析和报告数据。
6、大数据掘金之中的数据分析方法不哪些十种最常见的数据挖掘方法:1。基于历史的MBR分析(MemoryBasedReasoning；MBR)基于历史的MBR分析方法的主要概念是利用已知案例来预测未来案例的某种属性，通常寻找最相似的案例进行比较。2.MarketBasketAnalysis购物篮分析的主要目的是找出哪些东西应该放在一起。
例如，零售店可以利用这种分析来改变货架上商品的排列或设计吸引顾客的商务包装。3.决策树在解决分类和预测方面有很强的能力。它们以规则的形式表现出来，而这些规则又以一系列问题的形式表现出来，通过不断的提问最终可以得出所需要的结果。典型的决策树在顶部有一个树根，在底部有许多树叶。它将记录分解成不同的子集，每个子集中的字段可能包含一个简单的规则。
7、什么是olap?今天的数据处理大致可以分为两类:联机事务处理(OLTP)和联机分析处理(OLAP)。OLTP是传统关系数据库的主要应用，主要处理基本的、日常的事务，比如银行事务。OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重于决策支持，提供直观易懂的查询结果。OLTP:又称面向事务的处理系统，其基本特点是客户的原始数据可以立即传送到计算中心进行处理，并能在短时间内给出处理结果。
也称为实时系统。衡量联机事务处理的一个重要性能指标是系统性能，它体现在实时响应时间(real-time ResponseTime)上，即用户在终端上发送数据到计算机对这个请求给予答复所需要的时间。OLTP由数据库引擎完成。OLTP数据库旨在使事务性应用程序只写他们需要的数据，以便尽快处理单个事务。
8、数据仓库数据建模的几种思路数据仓库数据仓库建模的两个典型理论是基于主题域的维度建模和实体关系建模，分别以Kimball和Immon为代表。维度建模由数据分析需求驱动，提倡总线架构:一致的事实和一致的维度。这种数据模型便于用户在数据分析中理解和操作。基于主题领域的实体关系建模以源系统数据为驱动，整合企业所有数据，在企业层面对数据进行抽象和整合，使用3NF实体关系理论进行建模。这种数据建模方法试图以更抽象的方式建立相对稳定的数据模型，能够描述企业级的数据关系。
上周我们主要讨论了基于主题域的实体关系建模中数据集成的方式，讨论了以下三种思路:同一主题域中不同实体的属性通过属性进行聚合。比如对于会员，公司，客户等实体对象，我们都有地址属性信息，姓名识别属性信息等等，这种思想是将属性内聚度高的字段进行整合，将不同的属性以带类型标识的树表形式存储。
