1。数据采集:在大数据的生命周期中，数据采集是第一个环节。根据MapReduce应用系统的分类，大数据采集主要来自四个来源:管理信息系统、web信息系统、物理信息系统和科学实验系统。2.数据存取:大数据的存储和删除采用不同的技术路线，大致可以分为三类。第一类主要针对大规模结构化数据。第二类主要是针对半结构化和非结构化数据。
基础设施:云存储、分布式文件存储等。数据处理:对于收集到的不同数据集，可能会有不同的结构和模式，比如文件、XML树、关系表等。，表现出数据的异质性。对于多个异构数据集，需要进一步整合或集成处理。对不同数据集的数据进行收集、整理、清洗和转换后，生成新的数据集，为后续的查询和分析提供统一的数据视图。
5、大数据存储需要具备什么作为一个数据平台，大数据存储不仅仅是一个数据存储的设备。它需要能够提供经济高效的规模和功能，消除数据迁移，没有存储孤岛，提供全局可访问的数据保护，并保持数据可用性。1.提供经济高效的规模和功能不仅需要购买行业标准的服务器和存储产品，还需要确保产品的可扩展性和性能。而且随着硬件的发展，可以按需扩展，存储系统需要能够不断满足企业的需求，通过增加存储系统来维持数据增长的性能要求。
3.拒绝存储孤岛。为了充分利用大数据的机会，企业必须能够访问所有数据。为了实现这一目标，新的存储平台必须能够满足这一要求，并消除这些传统的存储孤岛，而不是简单地添加另一种存储解决方案。4.提供全球管理模式。在大数据快速增长的时代，集中式数据管理模式不再可行。单点故障的成本会很高。大数据存储平台必须能够管理分布在全球企业中的数据。
6、大数据时代,数据的存储与管理有哪些要求?随着数据时代的到来，数据的存储有以下几个主要要求:一是海量数据的及时有效存储。根据现行的技术和预防法规和标准，系统采集的信息应保存不少于30天。数据量随时间线性增长。其次，数据存储系统需要具有可扩展性，既要满足海量数据的持续增长，又要满足获取更高分辨率或更多采集点的数据需求。第三，对存储系统的性能要求非常高。在多路并发存储的情况下，对带宽、数据容量、缓存等要求较高，需要针对视频性能进行优化。
7、第三章大数据存储1，HDFS 1的基本特征和建筑。基本特点(1)大规模数据分布式存储能力:分布式存储能力和良好的可扩展性。(基于分布式节点上的大量本地文件系统，在逻辑上构建一个容量巨大的分布式文件系统，整个文件系统的容量可以随着集群中节点的增加而线性扩展)(2)高并发访问能力:提供高数据访问宽带(高数据吞吐量)，带宽可以等比例扩展到集群中的所有节点。(3)容错性强:(设计理念上把硬件故障视为常态)保证在节点硬件故障频繁的情况下，能够正确检测到硬件故障，并能自动快速从故障中恢复。保证数据不丢失(以多副本数据块的形式存储)(4)顺序文件访问:(大数据批量处理是大量简单数据记录的顺序处理)顺序读取经过优化，支持大量数据的快速顺序读取，代价是随机访问负载高(5)简单一致性模型(一写多次读取):支持大量数据的一写多次读取；不支持写入数据的更新操作，但可以在文件末尾添加新数据(6)块存储模式:默认块大小为64MB。
8、大数据和传统数据存储的区别无关联性大数据是海量数据，是现状，是解决问题的手段。传统的数据存储是一个存储问题，大数据和传统数据有什么区别？主要区别在于，大数据现在包括了非结构化数据，可以从各种数据中提取有用的信息，比如电子邮件、日志文件、社交多媒体、商业交易等数据。例如，存储在数据库中的连锁零售店中商品的销售图表数据，这些数据的获取在大数据的范畴里不是问题。
