非结构化数据流处理,数据流图是结构化分析方法中使用的工具

大数据存储与应用的特点及技术路线分析大数据时代，数据呈爆炸式增长。从存储服务的发展趋势来看，一方面，数据存储的需求越来越大；另一方面，对数据的有效管理提出了更高的要求。大数据对存储设备的容量、读写性能、可靠性、扩展性提出了更高的要求，需要充分考虑功能集成、数据安全、数据稳定、系统可扩展性、性能和成本。

其共同特征可以概括为3V:量、速、变(大规模、高速度、多样性)。大数据具有数据量大、增长快的特点。其数据规模已经从PB级增长到EB级，并且还在根据实际应用和企业二次开发的需要不断扩大，正在快速向ZB(ZETABYTE)的规模迈进。

大数据技术的体系庞大而复杂，基础技术包括数据采集、数据预处理、分布式存储、数据库、数据仓库、机器学习、并行计算、可视化等。1.数据采集和预处理:FlumeNG实时日志采集系统支持在日志系统中定制各种数据发送方进行数据采集；Zookeeper是一个分布式开源的分布式应用协调服务，提供数据同步服务。2.数据存储:Hadoop作为开源框架，是专门为离线和大规模数据分析而设计的，HDFS作为其核心存储引擎，已经广泛应用于数据存储。

3.数据清洗:MapReduce作为Hadoop的查询引擎，用于大规模数据集的并行计算。4.数据查询分析:Hive的核心工作是将SQL语句翻译成MR程序，可以将结构化的数据映射成数据库表，提供HQL(HiveSQL)查询功能。Spark支持内存分布式数据集，不仅可以提供交互式查询，还可以优化迭代工作负载。

运营商迎来大数据时代:管理和分析是巨大的挑战。大数据并不是一个新概念。移动互联网发展后，数据增长速度加快，整个行业压力突出。在传统数据库技术已经不能满足运营商充分利用大数据需求的背景下，大数据成为近年来的热点。对于运营商来说，数据爆炸式增长带来的收入并没有改变。所以运营商面临着数据流的附加值被互联网公司赚走的挑战，同时也面临着被管道化的尴尬。如何利用好运营商手中的大数据，成为需要面对的问题。

运营商新业务的出现导致了数据的爆炸。信令数据和互联网数据的规模已经达到数百TB，甚至PB。此外，据EMC大中华区数据计算事业部总经理刘伟光介绍，数据的价值不仅与数据规模有关，还与数据处理周期直接相关。也就是说，数据处理越快、越及时，其价值就越大，效力也就越大。

大数据采集过程中通常会有一个或多个数据源。这些数据源包括同构或异构数据库、文件系统、服务接口等。，易受噪声数据、缺失数据值、数据冲突等影响。因此，首先需要对采集的大数据集进行预处理，以保证大数据分析和预测结果的准确性和价值。大数据的预处理主要包括数据清洗、数据整合、数据归约和数据转换，可以大大提高大数据的整体质量，体现大数据处理的质量。

大数据技术是从各类数据中快速获取有价值信息的技术。大数据领域涌现出大量新技术，成为大数据采集、存储、处理和呈现的有力武器，大数据处理的关键技术一般包括:大数据采集、大数据预处理、大数据存储与管理、大数据分析与挖掘、大数据展示与应用(大数据检索、大数据可视化、大数据应用、大数据安全等。).1.大数据采集技术数据是指通过RFID射频数据、传感器数据、社交网络交互数据、移动互联网数据获得的各类结构化、半结构化(或弱结构化)和非-1。