大数据用什么存储,大数据哪些关键技术最值得你信赖?

1。开源的大数据生态系统HadoopHDFS、HadoopMapReduce、HBase、Hive逐渐诞生，早期的Hadoop生态系统逐渐形成。开源生态系统是活跃的，免费的，但是Hadoop技术要求高，实时性差。2.商业大数据分析工具一体化数据库/数据仓库(高成本)IBM PureData (Netezza)、Oracle Exadata、

数据仓库(高成本)Teradata Asterdata，EMC Greenplum，HPVertica等等。数据集市(平均成本)QlikView，Tableau，中国的永红数据集市等等。前端呈现用于呈现分析的前端开源工具有JasperSoft、Pentaho、Spagobi、Openi、Birt等。

大数据时代的三种存储架构_数据分析师考试大数据时代，移动互联网、社交网络、数据分析、云服务等应用的快速普及，对数据中心提出了革命性的需求，存储基础设施成为IT核心之一。政府、军工、科研院所、航空航天、大型商业连锁、医疗、金融、新媒体、广播电视等领域的新兴应用层出不穷。数据的价值日益凸显，数据已经成为不可或缺的资产。

传统的数据中心在性能、效率、投资收益、安全性等方面远远不能满足新兴应用的需求，数据中心业务急需新的大数据处理中心来支撑。新型大数据中心除了传统的高可靠、高冗余、绿色节能外，还需要虚拟化、模块化、弹性扩展、自动化等一系列特性，以满足具有大数据特性的应用需求。这些前所未有的需求给存储系统的架构和功能带来了前所未有的变化。

(1)基于嵌入式架构的存储系统节点NVR架构主要面向小型高清监控系统，高清前端数量一般在几十路以内。系统建设中没有大型存储监控中心机房，存储容量相对较小，对用户体验和系统功能集成要求较高。在市场应用方面，超市、商店、小企业、政法行业的基层管理单位应用广泛。(2) SAN架构，基于X86架构的存储系统平台，主要面向中大型高清监控系统，前端路径数百条甚至上万条。

作为监控平台的重要组成部分，前端监控数据通过视频存储管理模块存储在s an中。(3)基于云技术的存储方案目前安防行业可谓是一片“云”，一片“物”盖。随着视频监控的高清化和网络化，存储和管理的视频数据量变得海量，云存储技术是突破IP高清监控存储瓶颈的重要手段。云存储作为一种服务，在未来的安防监控行业有着客观的应用前景。

PB或多PB基础设施与传统大规模数据集的区别，就像白天与黑夜的区别，就像在笔记本电脑上处理数据与在RAID阵列上处理数据的区别。当Day在2009年加入Shutterfly时，存储已经成为该公司最大的支出，并且还在快速增长。每N PB的额外存储意味着我们需要另一名存储管理员来支持物理和逻辑基础架构。Day表示，面对大规模的数据存储，系统会更频繁地出错，任何管理大存储的人都经常要处理硬件故障。

RAID问题的标准答案是复制，通常采用RAID阵列的形式。但Day表示，面对大规模数据，RAID在解决问题的同时，可能会产生更多的问题。在传统的RAID数据存储方案中，数据的每个副本都被镜像并存储在阵列的不同磁盘中，以确保完整性和可用性。但这意味着每个镜像和存储的数据将需要五倍于其自身的存储空间。

目前大数据存储有行存储和列存储两种方案。对于这两种存储方案有许多争论。焦点是:谁能更有效地处理海量数据，并兼顾安全性、可靠性和完整性？从目前的发展情况来看，关系数据库已经不适应这种巨大的存储容量和计算需求，基本上被几个已知的大数据处理软件淘汰。Hadoop的HBase使用列存储，MongoDB使用基于文档的行存储，Lexst在这里使用二进制行存储。我不讨论这些软件的技术和优缺点，只围绕机械磁盘的物理特性分析行存储和列存储的存储特点，以及由此产生的一些问题和解决方法。

通常情况下，数据库分为关系型数据库和非关系型数据库，关系型数据库的优势是现在不可替代的，如MySQL、SQLServer、Oracle、DB2、SyBase、Informix、PostgreSQL和相对较小的Aess，支持复杂的SQL操作和事务机制，适用于小数据读写场景；但在大数据时代，人们更多的数据，物联网增加的数据，已经超出了关系数据库的承载范围。