获取大数据后，利用这些数据去做:数据采集、数据存储、数据清洗、数据分析和数据可视化。大数据的核心功能是数据价值，简单来说，大数据让数据产生各种“价值”，这个数据价值的过程才是大数据应该做的主要事情，大数据行业的数据准确吗？在我看来，一个完整的大数据平台应该提供离线计算、即席查询、实时计算和实时查询。
OpenTSDB是基于HBase的分布式可扩展时序数据库。OpenTSDB可以用来处理一个一般的需求:存储、索引和服务从大规模计算机系统(网络设备、操作系统和应用系统)收集的参数数据，并使这些数据易于访问和可视化。因为OpenTSDB解决了基础设施监控的普遍性问题，所以对于这本实用的书来说是一个很棒的项目。
首先，从大数据本身来看，大数据从采集、存储、计算、分析、可视化分享等处理过程的价值在于基于业务理解的关联预测，需要技术算法架构等能力的支撑，同时注重数据安全和隐私保护。大数据是一个团队的工作，不是一个人能做到的。其次，从你的专业来看，你的网络工程偏于组网，横向数据的脉络比较清晰。可以结合自己的兴趣发展到大数据处理流程的某些方面，比如数据安全考虑。
DW数据仓库是面向主题的，反映历史变化数据并支持管理决策。ODS业务数据存储，存储当前数据状况，向用户提供当前状态，并提供实时、业务和综合信息。作为从数据库到数据仓库的过渡形式，ODS在物理结构上不同于数据仓库，可以提供高性能的响应时间。ODS设计采用混合设计方法。ODS中的数据是实时值，
4、大数据架构究竟用哪种框架更为合适在我看来，一个完整的大数据平台应该提供离线计算、即席查询、实时计算和实时查询。Hadoop、spark和storm无法单独完成上述所有功能。Hadoop spark hive是个不错的选择。hadoop的HDFS无疑是分布式文件系统的解决方案，解决了存储问题。Hadoopmapreduce、hive、sparkapplication、sparkSQL解决了离线计算和即席查询的问题。
另外还需要HBase或Redis等NOSQL技术来解决实时查询的问题；除了这些，大数据平台中任务调度系统和数据交换工具也是不可或缺的；任务调度系统解决了所有大数据平台中的任务调度和监控；数据交换工具解决了其他数据源与HDFS之间的数据传输，如:数据库到HDFS，HDFS到数据库等等。关于大数据平台架构的技术文章，可以搜索lxw的大数据领域，里面有很多。
5、大数据分析应该掌握哪些基础知识?如果是分析师方向，建议需要掌握最基础的sql，还需要掌握一些大数据组件，比如hive、sparksql、presto等。当然，excel的常用视角也是一项基本功。1、计算机语言:python语言、Java语言。提示(如果要处理几千万的数据，还是要懂Java语言)2。高数、线性代数、概率论基础知识。
文章TAG：数据 查询 即席 实时 价值
