流数据平台架构思路,大数据平台架构与原型实现pdf

五种大数据Processing架构Big数据是收集、整理和处理大容量数据集合并从中获得洞见所需的非传统策略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过了一台计算机的上限，但这种计算类型的普遍性、规模和价值只是在近几年才经历了大规模的膨胀。本文将介绍big 数据系统的最基本组件——处理框架。处理框架负责计算数据在系统中，比如处理数据从非易失性存储中读取或者处理数据刚刚摄入到系统中。

这些框架将介绍如下:仅批处理框架:ApacheHadoop仅流框架:ApacheStormApacheSamza混合框架:Apache sparkapacheflink large数据什么是处理框架？处理框架和引擎负责系统中数据的计算。虽然对于“引擎”和“框架”的区别并没有权威的定义，但是大多数时候，前者可以定义为实际处理数据操作的组件，后者可以定义为承担类似功能的一系列组件。

确定系统要实现的功能是什么。2确定数据来源和目的地。3.确定系统的输入/输出数据 stream，以系统为纽带，画出关联图。4、自上而下，逐层分解，对上层图的全部或部分加工环节进行分解和细化。要彻底分裂。5.检查图纸的布局是否合理。分解要适当，要彻底。不得有遗漏、重复或冲突。各层dfd和同层dfd的关系不能搞错。命名和编号合理。

数据fusion平台typical架构，在源端有不同的数据存储系统，在另一端有各种数据。中间是数据Fusion平台Simple架构，组件Sourceconnectors负责获取数据。收集数据后，会将其格式化为数据并放入TransportChannel。一般TransportChannel会使用源队列或者其他流数据框架做中间缓存，包括分布式支持，以及数据的分发。Sinkconnectors负责将数据写入不同的数据目的地。

1，HadoopHadoop MapReduce分布式计算框架，根据GFS开发HDFS分布式文件系统，根据BigTable开发HBase 数据存储系统。Hadoop的开源特性使其成为分布式计算系统事实上的国际标准。雅虎、脸书、亚马逊、百度、阿里巴巴和中国其他许多互联网公司都基于Hadoop构建了自己的发行版。

Spark和Hadoop最大的区别是Hadoop用硬盘存储数据，而Spark用内存存储数据，所以Spark能提供比Ha？Doop快了100倍。因为断电后内存会丢失数据，所以Spark无法用来处理需要长期存储的数据，3.StormStorm是Twitter推广的分布式计算系统。基于Hadoop，提供实时操作的特点，可以实时处理大型数据 stream。