2013年存储成本大数据库

简单说几句。其实这个解决方案主要是需要先考虑成本的。其他技术问题其实很容易解决，但是在企业应用中最大的限制是成本。我们以ORACLE 数据库为例。希望对你有帮助。(数据库类型不重要，解决方法都一样。1.基于存储 layer的容灾复制方案。该技术的复制机制是基于SAN的存储 LAN，对每个IO进行复制，复制数据量大；系统可以同步或异步复制数据。

但对主机、操作系统和数据库版本的要求是一致的，对网络环境的要求比较高。2.基于逻辑卷的容灾复制方案该技术的机制是通过基于TCP/IP的网络环境进行复制，操作系统进程捕捉逻辑卷的变化进行复制。其特点类似于基于存储 device的复制方案，也可以选择同步或异步模式，同样要求主机的软硬件环境高度一致，对于大数据的应用具有优势。

variable存储互联网时代框架层出不穷，令人眼花缭乱，比如传统的关系型数据库:Oracle、MySQL；新兴的NoSQL:HBase、Cassandra、Redis；全文检索框架:ES，Solr等。如何选择适合自己创业的存储方案，相信大家都思考过这个问题。本文简单谈谈我对Mysql、HBase、ES的理解，希望能和大家一起探讨进步，有错误请指出。

存储优化管理的方式有数据压缩、数据重分发、存储治理项优化、生命周期管理等。在分布式文件系统中，数据压缩会是存储3份，也就是说存储1TB的逻辑数据实际会占用3TB的物理空间。盘古RAIDfile格式的文件用于将存储的比例从1: 3提高到1:1.5。这样做的缺点是数据块的修复时间比原来长，读取性能也有损失。

Sortby字段)进行数据重分发，这样可以优化表。存储治理项优化:存储治理项优化是指基于元数据对多个存储治理优化项进行诊断和处理。目前已有的存储 governance优化项包括非托管表、空表、最近62天没有被访问的表、没有数据更新和没有任务的表。生命周期管理策略的根本目的是用最少的存储 成本满足最大的业务需求，实现数据价值最大化。a)定期删除策略:定期清理无效的历史数据。

data 存储主要关注存储容量问题:一是存储容量的快速膨胀对存储服务器提出了更大的需求。二是数据时长的增加。最后对数据的管理提出了更高的要求存储。数据多样化、地域分散、重要数据的保护，都对数据管理提出了更高的要求。随着数字图书馆、电子商务和多媒体传输的不断发展，从GB、TB到Pb的海量数据正在快速增长。存储产品不再是连接服务器的辅助设备，而是成为了互联网的中流砥柱成本。

大数据的“大”:“大”是一个相对的概念。比如像SAPHANA这样的“memory 数据库”，2TB可能已经是很大的容量了；对于Google这样的搜索引擎来说，EB数据量可以称之为大数据。“大”也是一个快速变化的概念。HDS在2004年发布的虚拟化平台USP 存储具有管理32PB内部和外部添加的能力存储。当时大多数人都觉得USP的存储容量有点离谱。

mysql和oracle简直就是塑料刀和电锯的区别。你根本不需要在它们之间纠结。如果你痴迷于mssql和oracle，它可能有一定的意义。了解groupby、partition、index的神奇用法，不然随便用一个都会很蠢。这是你能不能写出好的sql的分水岭。当你使用数据库的时候，很多问题其实是因为程序员写不出可靠的sql，所以其他人需要改变自己的架构来适应这些低sql的程序员才走出来。

Data存储成本高。Data 存储以开源Ceph为核心架构的软件定义分布式存储更符合你的要求，因为它有六大优势，即高性能、支持分类存储、多副本读取一致性强、容灾备份、灵活扩展，最后一个优点可以简化异构基础设施的操作。数据存储NAS的优点:1)数据存储真正的即插即用NAS是独立的存储节点存在于网络中，与用户的操作系统平台无关，是真正的即插即用。