大数据 应用迁移

1 Application迁移(有些公司需要从Oracle、MySQL等的传统数据 library中更改应用。数据存储过程程序或SQL脚本库迁移 to large。高度重复且麻烦，吃力不讨好)2为集群搭建一个大型数据环境(一般公司招大型数据工程师环境已经搭建好了，公司内部会有现成的大型数据平台，但我们会私下搭建一个测试环境，毕竟公司内部的大型数据平台。严重影响开发效率)3 数据中间站开发(中间站需要支持访问各种数据源，清洗各种数据源并转换成可用的数据，然后在原有/的基础上，都是基于宽表层来找出业务数据)4数据迁移(有些公司需要将数据从传统的数据数据库Oracle、MySQL等/113.-1/集群，这是个繁琐的工作，吃力不讨好)5写SQL(很多入职一两年的大工程师数据工程师的主要工作就是写SQL)6 数据收集(收集日志数据，文件。这涉及到各种格式的转换，常用的有Flume和log stash)7数据Processing 7.1 Offline数据Processing(这一般是写作。

数据迁移是一个非常复杂细致的过程，需要设计者和实施者具备多元化的知识结构，否则将不得不陷入顾此失彼的境地。一个完整成功的-1 迁移解决方案由六部分组成:1。具有专业技能的人员，2。成熟的解决方案，3。稳健可靠的流程和方法，4。交付前实验室模拟验证，5。高效迁移。缺少任何一个条件都可能导致-1迁移失败。

试想一下，如果社保局的数据丢了，多少人的生活会受到困扰，政府部门的业务系统会关闭，不会带来直接的经济损失，但会影响企业的业务和市民的生活。目前随着智慧城市的建设，很多政府部门都做了-1迁移和容灾备份。比如鄂尔多斯市目前在做数据备份容灾系统及应用业务迁移。据悉，该项目依托鄂尔多斯大学数据 Center强大的运营能力，按照嘉华(鄂尔多斯市)科技有限公司提出的嘉华融合数据迁移解决方案实施，项目进展顺利，为政务系统提供。

1。分布式存储传统的集中式存储已经存在了一段时间。但是Da 数据并不真正适合集中式存储架构。Hadoop旨在让计算更接近数据 node，同时也采用了HDFS文件系统的大规模水平扩展功能。虽然，通常解决Hadoop管理本身效率低下的方法数据是将Hadoop 数据存储在SAN上。但也造成了自身性能和规模的瓶颈。现在如果通过集中式的SAN处理器处理所有数据，与Hadoop的分布式、并行特性相悖。

但是Hadoop是一个分布式应用，所以它应该运行在分布式存储上，这样存储就保留了和Hadoop本身一样的灵活性，但是也需要拥抱一个软件定义的存储方案，并在商业服务器上运行，这自然比瓶颈Hadoop更高效。2.超收敛VS分布式注意，不要混淆超收敛和分布式。一些超融合解决方案是分布式存储，但通常这一术语意味着您的应用程序和存储存储在同一计算节点上。