大数据 分布式缓存,ehcache分布式缓存

Da 数据:用常规数据 library工具难以获取、存储、管理和分析的数据的集合。特点:1。数据量大:初始单位为PB。1kb 1024 B1 MB 1024 kb 1024 MB 1024 MB 1 TB 1024 gb1 Pb 1024 tb1 EB 1024 PB1 zb 1024 EB 2。有很多种类型:结构化、板结构、非结构化:博客、音频、视频、图片、地理位置等信息混杂在一起。

苏宁有八大产业。每个行业都有自己的数据 market，每个数据 market都有自己的维度表。没有统一的维度管理(包括管理规范和系统支持)。业务痛点包括以下几个方面:建立统一的维度管理系统，实现维度信息的统一管控，为集团的数据产品提供统一的维度数据服务，包括维度开发管理、维度信息管理和维度数据服务。Dimension 数据如上图所示，收集的数据经过ETL清洗后存储在Dimension数据warehouse(rock)中，然后dimension系统存储Dimension 。

Dimension 数据同步方式:存储在HBASE 数据中的维度由BULKLOAD导入，存储在MYSQL 数据中的维度由SPARKSQL RDD编写。对于数据同步，通过在页面上配置任务，实现了一键同步，节省了人工。为什么要用这种存储方式？1.根据数据的大小采用不同的存储引擎，节省了存储资源，提高了维度服务的稳定性。

众所周知，java在处理大量的数据时，将其加载到内存中必然会导致内存溢出，而在某些数据处理中，我们要处理数量巨大的数据，我们正在做-2。比如我们想把数据 library(不管是什么数据 library)导出到一个文件，通常是CSVExcel或文本格式；对于Excel来说，对于POI和JXL的接口，你往往没有办法控制内存什么时候写到磁盘，这很恶心，而且这些API在内存中的对象大小会比数据原来的大小大很多倍，所以你要拆分Excel。好在POI开始意识到这个问题。3.8.4版本以后，首先提供缓存行数，提供SXSSFWorkbook的接口，可以设置内存行数。可惜的是，当你超过这个数的时候，每增加一行，它就会把相对数之前的那一行写到磁盘上(如果你设置了第2000行，当你写到第20000行的时候，他会把第一行写到磁盘上)。其实这个时候它会保存一些临时文件，这样就不会消耗内存了。

/image-6 6、大 数据开发必用的 分布式框架有哪些

SparkSpark用较少的Scala代码实现，不同于Hadoop基于分布式 file的IO操作。Spark尽可能使用内存进行迭代计算，使用mesos管理机器资源分配。Hadoop是Apache基金会开发的一个分布式系统基础设施。用户可以在不了解分布式底层细节的情况下开发分布式程序。充分利用集群的力量进行高速操作和存储。

HDFS具有高容错性的特点，设计用于部署在低成本的硬件上。而且提供了访问数据 of应用的高吞吐量，适用于那些数据 dataset较大的应用，HDFS放松)POSIX POSIX的要求，以便您可以在文件系统中流式访问数。