hadoop大数据开源项目,Hadoop是Apache顶级的开源项目

hadoop，请描述一下三个平台数据，Hadoop 数据和Hadoop是密不可分的。为什么不用Hadoop？1.Hadoop集群的可扩展性是其主要特点之一，Hadoop可以扩展到上千个节点，对数据的需求非常大，2.Hadoop的成本是另一大优势，因为Hadoop是开源1234566。

1，large 数据生态技术系统Apache基金会开发的Hadoop分布式系统基础设施。Hadoop框架的核心设计是HDFS和MapReduce。HDFS提供数据的海量存储，MapReduce提供数据的海量计算。Hadoop是一个基础框架，可以托管很多其他东西，比如Hive。不想用编程语言开发MapReduce的人可以用Hive进行离线数据处理分析。

2.Big 数据生态技术系统的火花也是加州大学伯克利分校的一个实验室，是Apache基金会开发的另一个重要的分布式计算系统。Spark和Hadoop最大的区别是Hadoop用硬盘存储数据，而Spark用内存存储数据，所以Spark可以提供100倍以上的计算速度。Spark可以通过YARN(另一个资源协调器)在Hadoop集群中运行，但是Spark现在正在进化成一个生态进程，希望通过一个技术栈实现上下游的融合。

今天真是一个美好的时代。有无数的开源系统可以为我们提供服务。现在工业大学有很多开发软件可以用数据。当然，很多系统还不成熟，应用到行业中还需要谨慎，开发者需要一定程度的优化和调整。下面简单介绍一些开源big 数据tool软件，看看有哪些可以应用到工业big数据领域。下面这张图是我根据网上流传的a 开源 Da 数据软件分类图整理出来的:我们可以把开源 Da 数据软件分成几类，其中一部分可以逐步应用到工业大学。

(2)File数据Library Hadoop是数据时代的明星产品，其最大的成就在于实现了Hadoop分布式文件系统，简称HDFS。HDFS具有高容错的特点，设计部署在低成本的硬件上，为访问数据 of应用提供高吞吐量，适用于那些数据set非常大的应用。

Spark已经取代Hadoop成为最活跃的开源Da数据项目，但在选择大型数据框架时，企业不应厚此薄彼。著名专家BernardMarr在一篇文章中分析了Spark和Hadoop的异同。Hadoop和Spark都是big 数据框架，都提供了一些工具来执行常见的big 数据任务，但恰恰，它们执行的是不同的任务。虽然Spark据说在某些情况下比Hadoop快100倍，但是它没有分布式存储系统，而分布式存储是很多大数据 项目的基础，可以在几乎无限的普通电脑的硬盘上存储PB级数据 sets。还提供了很好的扩展性，只需要随着数据 set的增加而增加硬盘。所以Spark需要一个第三方分布式存储。正是因为这个原因，很多大数据 项目都在Hadoop上安装了Spark，这样，Spark的高级分析应用就可以使用数据存储在HDFS。与Hadoop相比，Spark真正的优势在于速度。Spark的大部分操作都在内存中，Hadoop的MapReduce系统会下载。