大数据 技能

以Hadoop为例。存储技能large数据可以抽象地分为大型数据存储和大型数据分析，它们之间的关系是大型数据存储的意图是支持大型。至今仍有两个世界的computer技能fields:Big数据Storage致力于开发可扩展到PB甚至EB级别的存储平台；大型数据分析侧重于在最短的时间内处理大量不同类型的数据集合。知觉的收集技能 Da 数据与知觉的发展技能密切相关。

首先要了解Java语言和Linux操作系统，这是学习Da 数据的基础，学习顺序不分先后。Big 数据Java:只知道一些基础知识。Big 数据不需要很深的Java技术，学习javaSE相当于学习big 数据基础。Linux:因为相关的软件都运行在Linux上，所以你要把Linux学得更扎实。学好Linux对你快速掌握相关技术会有很大的帮助。可以更好的了解hadoop、hive、hbase、spark等大型数据软件的运行环境和网络环境配置，通过学习shell可以了解脚本，更容易理解和配置大型数据集群。

目前无论是企业还是个人生活工作都需要极大的关注数据分析工作。毕竟数据分析帮助企业和个人更好的发展。要想做好数据的分析，就要了解数据的分析方法和技巧。常用的数据分析方法如下:1。可视化分析大数据分析的用户包括大数据分析师和普通用户。所以“Da-1”分析最基本的要求就是做可视化分析，因为可视化分析可以直观的呈现Da 数据的特点，也便于读者理解。

2.数据挖掘算法大数据分析的理论核心是数据挖掘算法。基于不同的数据类型和格式类型，各种数据挖掘算法科学地呈现了数据本身的特点。只有全世界统计学家认可的统计方法才能渗透到数据。在其中，发现公认的价值。另一方面，也正是因为有了这些数据挖掘算法，大的数据才能处理得更快。3.预测分析最重要的应用领域之一就是预测分析，从大数据中挖掘特征，科学地建立模型，然后通过模型引入新数据来预测未来。

至少掌握一门数据库开发技术:Oracle、Teradata、DBMysql等。，并灵活运用SQL实现海量数据ETL处理。熟悉Linux系统的常规shell处理命令，灵活运用shell进行文本处理和系统操作。编程语言:编码和开发能力是工程师必备-1技能，要熟悉Python、C/C 、Java、Perl、Golang或其他语言。

对于big 数据工程师来说，你至少要掌握以下这些技能:一个JVM语言:目前big 数据 eco-JVM语言类的比重非常大，从某种程度上来说并不为过。这里推荐你学习Java或者Scala。至于Clojure之类的语言，入门不容易，但是不建议你使用。测试专业技能、软件编程技能、网络、操作系统、数据库、中间件(web容器)等知识。现在软件测试已经成为一个潜在的专业。

数据Analysis技能、一两个数据分析软件sas、和数据存储软件sql等。大型数据开发一般需要编程能力。就我3年多的经历来看，有编程能力会获得更好的发展。大数据开发一般包括三类:仓库开发、数据分析和数据开发，每一类的要求都不一样。但是都有很多共同点技能。Universal 技能:除了基本的Sql能力，包括传统的Mysql和Oracle 数据库，以及Hive、Hbase等分布式数据库；当然Java编程能力是必不可少的，其他方面比如Mapreduce和Spark会更好。

仓库开发:你必须知道如何对仓库建模，比如维度表、事实表、主题表、星型模型、雪花型模型等。你必须对业务非常熟悉，有全局观，才能建立数据仓库，数据Development:数据有离线开发和实时开发，更多的是后端开发，类似java的按需开发，加上日常维护。数据分析:这个需要很强的sql知识，如果能用python分析数据就更好了。