数据集市和数据仓库的区别,数据集市的特点及数据挖掘技术

最简单的回答是，对历史数据的分析整理就是一个数据仓库。由于各种应用系统无法高效处理大量历史数据，数据仓库应运而生。以银行为例。我国幅员辽阔，自然资源丰富。一般全国银行网点至少有4000家。在财务系统的一个总账里，每个分行每个月至少有1000个科目和项目要报，还不算各种外币和海外机构。经过10年的积累，集中库中的总账数据量是如此之大:4000 * 1000 * 12 * 10。

我们能做的就是缩短数据在应用系统中保存的时间，只能查到最近2年以内的记录。把历史数据的统计分析留给其他系统，一个叫做数据仓库的系统就出现了。这个仓库最重要的问题是历史数据的统计，如何高效存储历史数据，如何处理纬度梯度，如何设计一个更贴近业务的主题等等。

数据仓库分层的原因1。通过数据预处理提高效率，所以会因为预处理而产生冗余数据。2.如果业务系统的业务规则在没有分层的情况下改变，整个数据清洗过程都会受到影响，工作量巨大。3.工作通过分级管理一步步完成，使每一层的处理逻辑简单。标准数据仓库分层:ods(临时存储层)、pdw(数据仓库层)、Mid(数据集市层)、app(应用层)ods:历史存储层，与源系统数据同构，该层的数据粒度最细。该层有两种表，一种是存储当前需要加载的数据，另一种是存储处理后的数据。

数据仓库具有以下特点:数据仓库中的数据是面向主题的，可以在更高的层次上对分析对象的数据进行完整一致的描述，可以有效地刻画分析对象所涉及的数据以及数据之间的关系。主题通常是在更高层次上对数据进行分类的标准，每个主题对应一个宏观分析字段。数据应该在数据仓库中重新组织，以完成从业务数据到主题数据的转换。题目的抽取要根据分析的要求来确定。根据所需要的信息，将数据分门别类，从不同的角度进行分类存储。数据仓库中的数据是一个集成的事务处理系统。在进入数据仓库之前，必须对其进行统一和集成，从而演化为分析数据。

谈数据挖掘与数据仓库1数据挖掘1.1数据挖掘与传统数据分析的区别数据挖掘与查询、报表、在线应用分析等传统数据分析的本质区别在于，数据挖掘是在没有明确假设的情况下挖掘信息、发现知识。数据挖掘得到的信息应该具有三个特征:以前未知的、有效的、实用的。也就是说，数据挖掘就是寻找直觉找不到的信息或知识，甚至是违背直觉的信息或知识。挖掘出的信息越出人意料，可能就越有价值。

因此，数据挖掘与传统的分析方法有很大的不同。1.2数据挖掘的应用价值(1)分类:首先从数据中选择已经分类的训练集，在这个训练集上使用数据挖掘分类的技术，建立分类模型，对未分类的数据进行分类。(2)估计:类似于分类，区别在于分类描述的是离散变量的输出，而估计处理的是连续值的输出；分类是确定的数字，估计是不确定的。(3)聚类:将记录分组。

DataMart也叫数据市场，是一个从运营数据和其他数据源收集数据的仓库，服务于一个特殊的专业群体。就范围而言，数据是从企业范围的数据库、数据仓库或更专业的数据仓库中提取的。数据中心的关键点在于，它迎合了专业用户的特殊需求，在分析、内容、性能和易用性方面。数据中心的用户希望用他们熟悉的术语来表示数据。

数据挖掘是从大量数据中提取潜在的、有价值的知识(模型或规则)的过程。1.数据挖掘能做什么？1)数据挖掘可以做以下六种不同的事情(分析方法):分类()估计、预测、相关分组或关联规则、聚类、描述和)2可视化，2)数据挖掘的分类以上六种数据挖掘的分析方法可以分为两类:直接数据挖掘；间接数据挖掘直接数据挖掘的目标是利用可用的数据建立模型，模型描述了剩余的数据和一个特定的变量(可以理解为数据库中表的属性，即列)。