亿数据

Mysql是几千万还是几亿数据如何设计数据 1亿？上亿数据用什么数据什么最适合你的图书馆数据:关系型数据:可以参考阿里和JD.COM用mysql集群解决非关系型数据:。

一次插入300万，简单的插入操作。如果数字足够大，可能需要很长的写操作。你可以试着写300万条sql语句，在工具中执行它们需要多长时间。当然，批量插入可能会很快，但也需要很多时间。这取决于你是否需要改变你的插入顺序和你是否需要一个索引。如果需要指数，那就太可怕了。如果有索引，必须将其删除，然后在插入完成后重建索引。最好把它附加到页脚。

本文中的数据平台已经迭代了三个版本，从一开始就遇到了很多常见的问题。终于有时间整理了一些完善的文档，在这里分享给朋友们。实现参考，少走弯路，专注于ES在这个空间的优化。目前生产已存储100亿数据，性能良好。关于HBase和Hadoop的设计优化有很多文章可以参考，就不赘述了。项目背景:在某业务系统中，部分表的数据日交易量超过1亿，已按天表示，但业务受限于日查询，只能在DB中保存3个月的数据(硬件配置高)，数据库共享成本高。

1。数据如果量太大，比如几亿，就用oracle，Oracle有几亿的优势。数据对于Oracle来说，它比较轻便，不需要太多的优化配置，但是安装麻烦，上手慢。2.数据对于大批量，比如几千万，用postgresql，号称Oracle的标杆，处理几千万还是可以的数据，也很易学易用。3.数据的量一般，比如几百万，mysql处理数据mysql这个级别还是比较快的。

单桌1亿？还是一亿的整个图书馆？1.首先可以考虑业务级优化，即垂直表拆分。竖表拆分是将一个数据数量较大的表按照某个字段的属性或者使用频率拆分成多个表。如果有多种业务类型，每种业务类型都列在不同的表中，如表1、表2和表3。如果日常业务中不需要用到全部数据的话，可以按照时间来安排，比如月表。每张表只保留一个月的记录。

横向表拆分是将数据 row按照一个或多个列数据的值放入多个独立的表中，没有业务意义。如果按id划分表，则以09结尾的数据分别插入10个表中。也许你要问了，看起来和刚才说的立桌没什么区别。只是是否有业务意义是按照字段的值划分成表的。其实横向划分是最流行的实现方式，通过横向子库来实现。也就是刚才说的10个表分布在10个mysql 数据 libraries中。

看你有什么数据:关系型数据:可以参考阿里和JD.COM用mysql集群解决非关系型数据:用nosql集群解决它，MongoDB，Redis等当然-。这种情况下，学习hadoop，只有这个最合适，图书馆，一定是NoSQL。