1. (10分)讨论::下列每项活动是否是数据挖掘任务?简单陈述你的理由。
a) 根据性别划分公司的顾客。
不是。数据挖掘是在大型数据存储库中,自动地发现有用信息的过程。数据挖掘技术服务用来探查大型数据库,发现先前未知的有用模式。
还可以**未来观测结果,例如,**一位新的顾客是否会在一家百货公司消费100美元以上。但并非所有的信息发现任务都被视为数据挖掘,数据挖掘与信息检索不同,使用数据库管理系统查找个别的记录,或通过因特网的搜索引擎查找特定的web页面,则是信息检索领域的任务,它们主要依赖传统的计算机科学技术和数据的明显特征来创建索引结构,从而有效地组织和检索信息。数据挖掘的任务可分为两大类:
**任务和描述任务。主要任务有四种:聚类分析,关联分析,异常检测,和**建模。
其目的是根据其它属性的值,**特定属性的值,或导出概括数据中潜在联系的模式,主要是**某些信息。而根据性别划分公司的顾客,只是一种简单的数据库查询操作,并没有涉及**分析。
b) 根据可赢利性划分公司的顾客。
不是。根据可赢利性划分公司的顾客是使用阈值进行的一种统计计算。它仅仅是根据消费结果统计将原有顾客进行划分,只是一种统计的结果,而没有根据这些结果的特点**一个新的顾客的赢利性,这种**才是数据挖掘。
c) **投一对骰子的结果。
不是。因为骰子的六个数值出现的可能性是相同的,这是一种概率计算,如果结果出现的可能性是不确定的,不相同的,则更像是数据挖掘的任务,但在很早以前利用数学已经能够很好的解决这个问题了。所以**投一对骰子的结果不属于数据挖掘的任务,不带有发现新信息的**特点。
d) 使用历史记录**某公司未来的****。
这是数据挖掘的任务。可以通过对历史记录特点的分析来创建一种模型**未来的公司的****,这是数据挖掘任务中**建模的一个例子,**建模涉及以说明变量函数的方式为目标变量建立模型,有两类**建模任务:分类,用于**离散的目标变量;回归,用于**连续的目标变量dmj**某公司未来的****则是回归任务,因为**具有连续值属性。
2. (10分)列举3种数据挖掘功能,对每种举2个实际应用的例子。
(1)支持商务智能应用。借助pos(销售点)数据收集技术,零售商可以在其商店的收银台收集顾客购物的最新数据。零售商可以利用这些信息,加上电子商务**的日志、电购中心的顾客服务记录等其他的重要商务数据,更好地理解顾客的需求,做出明智的商务决策。
数据挖掘技术可以用来支持广泛的商务智能应用,如顾客分析、定向营销、工作流管理、商店分布和欺诈检测等。商店可以根据顾客的购物习惯来安排端口的摆放位置,这是日常生活中数据挖掘最常见的一种应用。数据挖掘还能帮助零售商回答一些重要的商务问题,如“谁是最有价值的顾客?
”“什么产品可以交叉销售或提升销售?”“公司明年的收入前景如何?”这些是数据挖掘任务中的关联分析。
通过商品销售情况,来分析购买商品的顾客特点,根据这些特点重要发掘最可能的消费者,这是关联分析在日常生活中的一种应用。
(2)在医学、科学与工程中的应用。医学、科学与工程技术界的研究者正在快速积累大量数据,这些数据对获得有价值的新发现至关重要。例如,为了更深入地理解地球的气候系统,nasa已经部署了一系列的地球轨道卫星,不停地收集地表、海洋和大气的全球观测数据。
然而,由于这些数据的规模和时空特性,传统的方法常常不适合分析这些数据集。数据挖掘开发的技术可以帮助地球科学家回答如下问题:“干旱和飓风等生态系统扰动的频度和强度与全球变暖之间有何联系?
”“海洋表面温度对地表降水量和温度有何影响?”“如何准确地**一个地区的生长季节的开始和结束?”。
我国神舟七号载人航天飞船的发射也是数据挖掘的一个应用,传统的技术通常不能处理太大量数据,而利用数据挖掘技术可以将卫星收集到的太空中的大量数据信息进行分析,这样才能保证飞船在太空中的顺利航行。
3. (10分)比较急切分类(如,判定树、贝叶斯、神经网络)相对于懒散分类(如,k -最临近、基于案例的推理)的优缺点。
决策树归纳的特点:(1)决策树归纳是一种构建分类模型的非参数方法,它不要求任何先验假设,不假定类和其他属性服从一定的概念分布。(2)找到最佳的决策树是np完全问题,可以采用一种贪心的、自顶向下的递归划分策略建立决策树。
(3)已构台构建决策树技术不需要昂贵的计算代价,决策边界是直线(平面)。(4)决策树算法对于噪声的干扰具有相当好的鲁棒性,采用避免过分拟合的方法之后尤其如此。(5)冗余属性不会对决策树的准确率造成不利的影响。
(6)决策树方法会存在数据碎片问题。(7)子树可能在决策树中重复多次。(8)当决策树很小时,训练和检验误差都很大,称为模型拟合不足;当规模变得太大时,即使训练误差还在继续降低,但是检验误差开始增大,称为模型过分拟合。
贝叶斯网络(bbn)的特点:(1)bnn提供了一种用图形模型来捕获特定领域的先验知识的方法,网络还可以用来对变量间的因果依赖关系进行编码。(2)构造网格可能既费时又费力,但一旦网格结构确定下来,添加新变量就十分容易。
(3)贝叶斯网络很适合处理不完整的数据。(4)因为数据和先验知识以概率方式结合起来了,所以该方法对模型的过分拟合问题是非常鲁棒的。
人工神经网络(ann)的特点:(1)至少含有一个隐藏层的多层神经网络是一种普适近似。(2)ann可以处理冗余特征,对训练数据中的噪声非常敏感。
(3)ann权值学习使用的梯度下降方法经常会收敛到局部极小值。训练ann是一个很耗时的过程,而测试样例分类时非常快。
基于密度的聚类(dbscan)优缺点:(1)它是相对抗噪声的,并且能够处理任意形状和大小的簇。当近邻计算需要计算所有的点对邻近度时,dbscan的开销可能很大。
k均值的优缺点:k均值并不适合所有的数据类型。它不能处理非球形簇、不同尺寸和不同密度的簇,尽管指定足够大的簇个数时它通常可以发现纯子簇。
通过以上急切分类和懒散分类各种方法的特点对比可知,急切分类仅仅对于某些类型的数据进入分类,而懒散分类则对于不同大小和不同类型的数据都可以进行处理。急切分类对噪声较敏感而懒散分类而不是,急切分类方法较为简单,花费的时间和空间代价都较懒散分类少。
4. (10分)假定你作为一个数据分析人员,受雇于一家移动通讯公司。通过一个例子说明打算如何使用数据挖掘技术为公司提供帮助。你的例子应包含问题描述,使用何种数据挖掘方法解决该问题,理由和预期效果(不需要定量分析)。
例子如下:首先,移动通信公司数据分析人员的主要工作是收集移动通信用户使用通信的方式,业务流量,并且收集用户的类型来分析各种用户使用信息的主要方式及销售情况,以此可以出台更加适合不同用户需求的业务**类型。使用数据挖掘中的聚类分析方法可以以一种较相似的主题来对结果进行分类,并且以一种更为简洁的方式呈现给用户,例如:
报告聚类中最频繁出现的10个词语,来收集最多使用各种类型业务的用户特点。可以按照预先定义的分类,例如漫游类,本地外地类等等用户使用通信的方法来进行分类。利用数据挖掘中顺序关联分析可以检测出某些按照一定的高概率来查询到其他分类,并且允许更为高效的缓存,通过这种方法,可以得出具有相互关联的用户使用通信方式和业务**的关系,进而通过查询一种类型推导出其他相关类型的分类用户特点。
通过异常检测技术可以发现不寻常的用户通信方式,例如一个新方式的更加流行。总的来说,通过数据挖掘的聚类分析可以将通信用户进行分类,然后发掘出各种类型用户使用通信的需求和最普通具用的特点,通过对以往历史信息业务的分析,聚类,可能会发现新的需求,最后所用的广告策略就可以根据这些发掘出来的新特性采取相应的调整策略以满足大多数用户的需求,吸引更多的潜在客户,出台符合这些用户需求的业务产品类型,进而使公司拥有更多的客户,有更大的发展前景。
5. (10分)假设数据挖掘的任务是将如下的八个点(用(x,y)代表位置)聚类为三个类。
a1(2,10),a2(2,5),a3(8,4),b1(5,8),b2(7,5),b3(6,4),c1(1,2),c2(4,9)
距离函数是euclidean(欧几里得)函数。假设初始我们选择a1,b1,和c1为每个簇的中心,用k-means算法来给出。
a) 在第一次循环执行后的三个簇中心。
b) 最后的三个簇。
k均值算法的过程为:1: 选择k个点作为初始质点。
2: repeat
3: 每个点指派到最近的质心,形成k个簇。
4. 重新计算每个簇的质心、
5. until质心不发生变化。
a1,b1,c作为初始质点,距离函数是euclidean函数,指派点到最近的质心,方法为计算其他点到质点的欧几里得距离。计算距离如下:a1-a2 :
dist=(2-2)2 +(5-10)2=25;
a1-a3:dist=(8-2)2+(4-10)2=72; a1-b2:dist=(7-2)2+(5-10)2 =50; a1-b3:dist=(6-2)2+(4-10) 2=52;
a1-c2:dist=(4-2)2+(9-10)2=5; b1-a2:dist=(2-5)2+(5-8)2=18; b1-a3:dist=(8-5)2+(4-8)2=25;
b1-b2:dist=(7-5)2+(5-8)2=13 b1-b3:dist=(6-5)2+(4-8)2=17
b1-c2:dist=(4-5)2+(9-8)2=2 c1-a2:dist=(2-1)2+(5-2)2=10 c1-a3:
dist=(8-1)2+(4-2)2=53 c1-b2:dist=(7-1)2+(5-2)2=45 c1-b3:dist=(6-1)2+(4-2)2=29 c1-c2:
dist=(4-1)2+(9-2)2=58
其他五个结点选择与其最近的质心,三个簇分别为:{b1,c2,b3,b2,a3}
计算这三个簇的质心:{b1,c2,b3,b2,a3}的质心为:((8+5+7+6+4)/5,(4+8+5+4+9)/5)即(6,6);{c1,a2}的质心为:
((2+1)/2,(5+2)/2)即为(1.5,3.5);的质心为(2,10)。
a) 在第一次循环执行后的三个簇中心分别为(6,6),(1.5,3.5),(2,10)
2023年数据分析
2010年质量目标。统计分析报告。编制 审核 批准 在2010年生产过程中,我厂克服了人员不足,生产量大,生产工期短等困难,圆满的完成了本年的生产工作任务。但在工作中也出现了一些问题。针对2010年生产情况做如下几点分析 1 产品一次交验情况 2 顾客满意度调查情况 3 顾客意见及时处理情况 4 生...
2023年数据因子分析
factor analysis 数据标准化处理。变量的kmo 和巴特利特球度检验方法考察收集的这些数据是否存在一定的线性关系,是否适合采用因子分析提取因子。检验结果如下表 表中可以看出,资产负债率的共同度太低如表3可看出各原始变量的共同度均处于较高水平,且除每股净资产外,其他12个变量的共同度均在0...
2023年数据分析报告
数据分析报告模板 数据量的增加并不会给企业带来利益,只有对数据进行有效适当的分析,对潜藏在数据内部的规律和知识进行挖掘并加以利用,才能发挥数据的真正作用。下面要为大家分享的就是数据分析报告模板,希望你会喜欢!一方面虚心向周围的领导 同事学习工作经验 工作方法和相关业务知识,取人之长,补己之短,加深了...