大数据处理技术

大数据本身就是一个抽象的概念。一般来说，大数据是指在有限的时间内，常规软件工具无法获取、存储、管理和处理的数据集合。目前业内对大数据没有统一的定义，但普遍认为大数据具有体量、速度、多样性和价值四大特征，简称“4V”，即数据量巨大、数据速度快、数据类型多样、数据价值密度低，如图1所示。

1)体量:代表大数据的数据体量巨大。数据收集的规模一直在扩大，从GB到TB，再到PB。近年来，数据量甚至开始由EB和ZB统计。比如一个中等城市的视频监控信息，一天可以达到几十TB的数据量。百度首页导航每天需要提供15PB以上的数据。这些数据如果打印出来，将超过5000亿张A4纸。图2显示了互联网每分钟产生的各种数据量。

大数据技术专业以统计学、数学、计算机为三大支撑学科；生物学、医学、环境科学、经济学、社会学和管理学是应用和扩展学科。此外，还需要学习数据采集、分析处理软件、数学建模软件和计算机编程语言。1.大数据技术主要课程有:编程基础、Python编程、数据分析基础、Linux操作系统、Python爬虫技术、Python数据分析、Java编程、Hadoop大数据。

大数据技术主要包括数据采集与预处理、数据存储与管理、数据处理以及分析、数据结果呈现等方面。1.数据采集和预处理在大数据的生命周期中，数据采集处于第一个环节。使用ETL工具，将分布式、异构数据源中的数据提取到临时中间层，经过清洗、转换和集成，最终加载到数据仓库或数据集市进行实时处理和分析。2.数据存储和管理对于收集的不同数据集，可能有不同的结构和模式，如文件和关系表。需要使用分布式文件系统、数据仓库和云数据库来实现半结构化、结构化和非结构化海量数据的存储和管理。

目前很多人对大数据分析感兴趣，那么什么是大数据分析呢？大数据分析是指对海量数据的分析。大数据有四个显著特征:海量数据、快速性、多样性和真实数据。大数据被誉为当今最具潜力的IT词汇，围绕大数据商业价值的数据挖掘、数据安全、数据分析、数据存储等后续运用逐渐成为行业人士追捧的利润焦点。大数据分析有哪些类型？

2.人工生成的数据非结构化数据广泛存在于电子邮件、文档、图片、音频、视频以及通过博客、维基(尤其是社交媒体)生成的数据流中。这些数据为使用文本分析功能进行分析提供了丰富的数据来源，3.可上网的MOBILEDATA智能手机和平板电脑越来越普遍。