apache开源大数据,pig是apache开源的支持

因为谷歌是数据的鼻祖。很多人提到Da 数据，必然会想到Google的“三驾马车”(又称Google三宝):GFS、MapReduce和BigTable。正所谓三篇论文是数据的巅峰之作，激发了数据technology开源时代的到来，成就了Hadoop辉煌的十年。尤其是近几年Da 数据 technology的发展，无论是技术的迭代，还是生态圈的繁荣，都远远超出了人们的想象。

TranswarpDataStudio .TranswarpDataStudio(简称TDS)是星环科技开发的一站式大型数据开发工具，提供数据集成、存储、治理、服务和共享数据企业级管理能力，处理全生命周期。结合星环科技大学数据基础平台TranswarpDataHub(简称TDH)的多模态处理能力，可以提高企业建设数据中台、数据仓库、9。

用户可以开发分布式程序，而无需了解发行版的底层细节。充分利用集群的力量进行高速操作和存储。Hadoop是一个软件结构，可以分布很多数据。Hadoop以可靠、高效和可扩展的方式处理数据2.ApacheHiveHive是一个建立在Hadoop上的开源数据warehouse基础设施，可以简单的通过Hive进行数据的ETL。

本文主要整理自阿里巴巴计算平台事业部高级技术专家莫问在云起大会上的演讲。随着人工智能时代的到来，数据数量爆发。在典型的大型数据业务场景数据业务中，最常见的方式是使用批处理技术处理整个数量数据。在大多数业务场景中，用户的业务逻辑在批处理和流处理中往往是相同的。但是，用户用于批处理和流处理的两套计算引擎是不同的。

无疑，这带来了一些额外的负担和成本。阿里巴巴的商品数据处理往往需要面对增量和全量两套不同的业务流程，所以阿里在想，我们能不能有一个统一的大数据引擎技术，用户只需要根据自己的业务逻辑开发一套代码就可以了。这样在各种场景下，无论是全数据还是增量数据，还是实时处理，都可以完全支持一套方案，这也是阿里选择Flink的背景和初衷。

Spark已经取代Hadoop成为最活跃的开源large数据project。但是，在选择大型数据框架时，企业不应厚此薄彼。著名专家BernardMarr在一篇文章中分析了Spark和Hadoop的异同。Hadoop和Spark都是big 数据框架，都提供了一些工具来执行常见的big 数据任务，但恰恰，它们执行的是不同的任务。虽然据说Spark在某些情况下比Hadoop快100倍，但它没有分布式存储系统，而分布式存储系统是许多大型数据项目的基础。它可以在几乎无限的普通计算机的硬盘上存储PB级数据 sets并提供良好的可扩展性。你只需要随着数据套的增加而增加硬盘即可。所以Spark需要一个第三方分布式存储。正是因为这个原因，很多大型数据项目都在Hadoop上安装Spark，这样，Spark的高级分析应用就可以使用数据存储在HDFS。与Hadoop相比，Spark真正的优势在于速度。Spark的大部分操作都在内存中，Hadoop的MapReduce系统会下载。

今天真是一个美好的时代。有无数的开源系统可以为我们提供服务。现在工业大学有很多开发软件可以用数据。当然，很多系统还不成熟，应用到行业中还需要谨慎，开发者需要一定程度的优化和调整。先简单介绍一些开源工具和软件，看看有哪些可以应用到工业数据领域。下面这张图是我根据网上流传的a 开源 Da 数据软件分类图整理出来的:我们可以把开源 Da 数据软件分成几类，其中一部分可以逐步应用到工业大学。

(2)File数据Library Hadoop是数据时代的明星产品，其最大的成就在于实现了Hadoop分布式文件系统，简称HDFS。HDFS具有高容错的特点，设计部署在低成本的硬件上，为访问数据 of应用提供高吞吐量，适用于那些数据set非常大的应用。

1。什么是阿帕奇麒麟？在当前数据的时代，越来越多的企业开始使用Hadoop管理数据但是现有的经营分析工具(如Tableau、Microstrategy等。)往往有很大的局限性，比如横向扩展困难，无法处理超大规模数据，缺乏Hadoop的知识。但是用Hadoop来分析数据还是有很多障碍。比如大部分分析师只习惯使用SQL，Hadoop很难实现快速交互查询。

ApacheKylin，中文名神兽，是Hadoop动物园的重要成员。ApacheKylin是开源的分布式分析引擎，最初由易贝开发，贡献给开源 community。提供基于Hadoop的SQL查询接口和多维分析(OLAP)能力，支持大规模数据，可以处理TB甚至PB级的分析任务，可以查询亚秒级的庞大蜂巢表，支持高并发。

在考虑Hadoop生态系统中的各种引擎时，了解每个引擎在某些用例中工作得最好是很重要的，企业可能需要使用各种工具组合来满足每个所需的用例。话虽如此，这里还是回顾一下ApacheSpark的一些顶级用例。1.Stream 数据Apache park的关键用例是它处理Stream数据的能力。因为每天都有大量的数据被处理，所以数据的实时流和分析对公司来说变得非常重要。

一些专家甚至认为Spark可以成为流计算应用程序的首选平台，无论其类型如何。之所以有这个要求，是因为SparkStreaming统一了不同的数据处理函数，这样开发者就可以用一个单一的框架来满足他们所有的处理需求，在当今企业中使用火花流的一般方法包括:1 .流式ETL——在数据 warehouse环境中用于批处理的传统ETL(提取、转换和加载)工具必须读取数据，将其转换为数据 library兼容的格式，然后写入目标。