spark内存数据库

1。hadoop和Storm我该选哪个？为了区分hadoop和Storm，本部分将回答以下问题:1。Hadoop和Storm的操作有哪些？2.为什么Storm被称为流计算系统？3.Hadoop适合什么场景，什么时候使用Hadoop？4.什么是吞吐量？首先，整体理解:Hadoop是磁盘级计算。计算时，数据在磁盘上，需要读写。暴风是内存级计算，数据直接通过网络导入内存。

根据HarvardCS61课件，磁盘访问延迟约为内存访问延迟的75000倍。所以风暴更快。注:1。延迟是指从数据产生到运算结果的时间，“快”应该主要指这个。2.吞吐量是指单位时间内系统处理的数据量。暴风的网络直传，内存计算，时延必然比hadoop通过hdfs传输低很多；当计算模型适合流式处理时，storm的流式处理节省了批处理中数据采集的时间；因为storm是面向服务的作业，所以也省去了作业调度的延迟。

Spark是处理海量数据的快速通用引擎。作为大数据处理技术，Spark经常被拿来和Hadoop做比较。Hadoop已经成为大数据技术事实上的标准，HadoopMapReduce也非常适合大规模数据集的批量处理，但是它仍然存在一些缺陷。具体表现为:1。HadoopMapRedue的表达能力有限。所有的计算都需要转化为Map和Reduce两个操作，这两个操作并不适合所有的场景，对于复杂的数据处理也很难描述。

HadoopMapReduce要求每一步之间的数据都要序列化到磁盘上，所以I/O成本很高，导致交互分析和迭代算法的开销很高，而几乎所有的优化和机器学习都是迭代的。所以HadoopMapReduce不适合交互分析和机器学习。3.计算延迟很高。如果要完成更复杂的工作，必须串联一系列MapReduce作业，然后按顺序执行。

Cpu消耗很大，主要看写什么样的程序。如果简单程序代码不多，速度不是很高，一个通用CPU和内存就行了。对于大型程序，我们不得不考虑CPU指令集的丰富性。复杂指令的效率比较高，可以减少代码执行时间。内存自然是越大越好，这取决于操作系统的寻址范围和管理模式。比如画面丰富的大型游戏软件，不仅需要cpu，内存高，还需要显卡。

文章首发于腾讯云数据库腾讯云 社区的专家服务专栏。在日常工作中，当MySQL的状态不太对劲的时候，我们通常会查看一下监控指标，往往会看到一个熟悉的场景:CPU利用率又爆发了。本文将介绍MySQL和CPU的关系。知道这些之后，我们就可以更准确的判断出问题的原因，提前发现一些引发CPU问题的隐患。

在考虑Hadoop生态系统中的各种引擎时，了解每个引擎在某些用例中工作得最好是很重要的，企业可能需要使用各种工具组合来满足每个所需的用例。话虽如此，这里还是回顾一下ApacheSpark的一些顶级用例。首先，流数据ApacheSpark的关键用例是它处理流数据的能力。因为每天都要处理大量的数据，所以对公司来说，实时地对数据进行流式处理和分析是非常重要的。

一些专家甚至认为Spark可以成为流计算应用程序的首选平台，无论其类型如何。之所以有这个要求，是因为SparkStreaming统一了不同的数据处理功能，这样开发者就可以用一个单一的框架来满足他们所有的处理需求。当今企业使用火花流的一般方式包括:1 .流式ETL——数据仓库环境中用于批处理的传统ETL(提取、转换和加载)工具必须读取数据，将其转换为数据库兼容格式，然后写入目标数据库。

Hadoop包括MapReduce和HDFS。目前非常流行的Spark，只有被取代才会取代Hadoop中的MapReduce。Spark在任务调度和数据可靠性上确实比MapReduce快很多，并且支持在内存中缓存数据，下一次查询将直接基于内存。Spark:是基于内存 computing的开源集群计算系统，旨在让数据分析更快。

Spark是用Scala语言实现的，使用Scala作为应用框架。与Hadoop不同，Spark和Scala可以紧密集成，Scala可以像操作本地集合对象一样轻松操作分布式数据集，虽然Spark的创建是为了支持分布式数据集上的迭代作业，但它实际上是Hadoop的补充，可以在Hadoop文件系统中并行运行。