基于农业数据元表示的数据挖掘研究
|
摘要
数据挖掘指的是从大量的数据中提取隐含的、事先未知的、并且潜在有用知识的技术。然而，在实际应用中各部门、各行业及各应用领域对于相同的数据概念可能有着不同的功能需求和描述，从而导致了数据的不一致性，影响了数据挖掘的质量及有效性。对数据进行规范化管理的数据标准化正是解决这一问题的有效方法，以数据元为基本单位的数据标准化通过对数据元及其属性的规范化处理，可以有效实现用户跨系统和跨环境的数据共享，为数据挖掘提供了一个通畅的数据环境。
本文以数据元为主要研究对象，剖析了数据标准化和数据挖掘的本质和流程，指出了二者的有机联系，从而提出了基于数据元表示的数据挖掘思路和技术框架。在此基础上以农业信息领域为例，对基于农业数据元表示的数据挖掘进行了详细的论述和实现。
本文的主要内容及结论：
第一，论述了数据挖掘的基本概念、本质及流程，对以数据元为基本单位的数据标准化本质进行了研究，详细分析了两者的联系，提出了基于数据元表示的数据挖掘技术框架。
第二，在对数据标准化充分研究的基础上，结合农业信息领域的特点，提出了农业数据元概念、农业数据元表示规范及基于XML schema农业数据元存储交换格式。为农业信息资源的跨系统跨环境使用提供了统一的信息表示形式、信息获取方法、信息分类编码方案、数据交换格式等一系列规范，为实现农业信息的正确表达及无误差传播，农业数据的交换与共享，集成处理与高效利用奠定了基础。
第三，在农业数据标准研究的基础上，提出了基于农业数据元表示的数据挖掘方法，并通过一个基于粗糙集理论的农业病害规则产生实例对该方法进行了验证，运用该方法推导出了具有较好质量、较好数量的规则，证明了基于农业数据元表示的数据挖掘是可行的，具有实际应用价值。
Agricultural data element is considered as major research object in this text, and the share of agricultural data is major research aim, agricultural data element, and express of data element and the action of date mining were done some research.
The paper put forward the method of data mine on the base of data element standard, discussed the basic concept and flow of data mining, the define of data standardization and relational concept of date element. The data ming based on data element as well as choice about dig algorithmic, basic theory of rought set and algorithmic. In the end validated data using of agricultural disease rule, thereby it testified that data mining based on data element is feasibility at theoretics and practise.
The aim of this paper is doing a experiment, data mine on data environment, at the research agricultural data standard that the environment data is understood, expressed, signed consisently. This environment is abided by data element standard.
本文以数据元为主要研究对象，剖析了数据标准化和数据挖掘的本质和流程，指出了二者的有机联系，从而提出了基于数据元表示的数据挖掘思路和技术框架。在此基础上以农业信息领域为例，对基于农业数据元表示的数据挖掘进行了详细的论述和实现。
本文的主要内容及结论：
第一，论述了数据挖掘的基本概念、本质及流程，对以数据元为基本单位的数据标准化本质进行了研究，详细分析了两者的联系，提出了基于数据元表示的数据挖掘技术框架。
第二，在对数据标准化充分研究的基础上，结合农业信息领域的特点，提出了农业数据元概念、农业数据元表示规范及基于XML schema农业数据元存储交换格式。为农业信息资源的跨系统跨环境使用提供了统一的信息表示形式、信息获取方法、信息分类编码方案、数据交换格式等一系列规范，为实现农业信息的正确表达及无误差传播，农业数据的交换与共享，集成处理与高效利用奠定了基础。
第三，在农业数据标准研究的基础上，提出了基于农业数据元表示的数据挖掘方法，并通过一个基于粗糙集理论的农业病害规则产生实例对该方法进行了验证，运用该方法推导出了具有较好质量、较好数量的规则，证明了基于农业数据元表示的数据挖掘是可行的，具有实际应用价值。
Agricultural data element is considered as major research object in this text, and the share of agricultural data is major research aim, agricultural data element, and express of data element and the action of date mining were done some research.
The paper put forward the method of data mine on the base of data element standard, discussed the basic concept and flow of data mining, the define of data standardization and relational concept of date element. The data ming based on data element as well as choice about dig algorithmic, basic theory of rought set and algorithmic. In the end validated data using of agricultural disease rule, thereby it testified that data mining based on data element is feasibility at theoretics and practise.
The aim of this paper is doing a experiment, data mine on data environment, at the research agricultural data standard that the environment data is understood, expressed, signed consisently. This environment is abided by data element standard.
引文
[1]Pawlak Z. Rough sets and decision tables. Lecture Notes in Computer Science, 208(1985): 187-196
[2]Pawlak Z. Rough classification. Int. J. Man-Machine Studies. 20(1984):469-483
[3]Jiawei Han, Micheline Kamber. Data Mining Conceptems, 17(1985):99-102
[4]J. C. Thomas, W. A. Kellogg, T. Erickson. The knowledge management puzzle: Human and social factors in knowledge management。http://www.research.ibm.com/journal/sj/404/thomas.pdf 2003,6
[5]吴志刚，林宁．信息共享、业务协同的前提—数据标准化．信息技术与标准化，2003．1，43-44
[6]张爱，赵艳华等．国际数据元标准研究．世界标准化与质量管理，1998．4
[7]数据交换标准．第四卷．全国文献工作标准化技术委员会编．1996
[8]赵苹．步入21世纪的农业信息化．经济科学出版社．2000．6
[9]王世军．EDI标准化贸易数据元的应用研究，杭州电子工业学院学报．1997
[10]张文修．粗糙及理论与方法．科学出版社，2001
[11]ISO／IEC 11179信息技术——数据元标准协调指南[S](摘录)
[12]GB／T 18391．1信息技术数据元的规范和标准化．国家技术监督总局(第1部分)
[13]GB／T 18391．2信息技术数据元的规范和标准化．国家技术监督总局(第2部分)
[14]GB／T 18391．3信息技术数据元的规范和标准化．国家技术监督总局(第3部分)
[15]GB／T 18391．4信息技术数据元的规范和标准化．国家技术监督总局(第4部分)
[16]GB／T 18391．5信息技术数据元的规范和标准化．国家技术监督总局(第5部分)
[17]GB／T 18391．6信息技术数据元的规范和标准化．国家技术监督总局(第6部分)
[18]王万森．人工智能原理及其应用．北京：电子丁业出版社，2000
[19]陈文伟．决策支持系统及其开发．北京：清华大学出版社，2000
[20]R格罗思．数据挖掘——构筑企业竞爭优势．西安交通大学出版社，2001
[21]创我科技-数据仓库常见名词浅释 www.creawor.com/biforum/bi_01.htm
[22]杨辉．数据挖掘及其在商业银行中的作用．中国金融电脑 1998．11
[23]范明，孟小峰等．数据挖掘概念于技术．北京：机械工业出版社，2001．8
[24]史忠植，张庆杰．张治洪等．知识发现与科学数据库．(中国科学院计算技术研究所 北京 100080)
[25]韩家炜，坎伯．数据挖掘概念及技术[M]．北京：机械工业出版社，2001．149～183．
[26]王国胤．Rough集理论与知识获取[M]．西安：西安交通大学出版社，2001．23～51．
[27]王珊，罗立 从数据库到数据仓库[Z]．中国人民大学文献，1996．
[28]罗晓沛 数据库技术新进股和科学数据库工程[Z] 中国科学院研究生院，1998
[29]何新贵 知识处理与专家系统[M] 北京：国防工业出版社，1990
[30]李文峰 赵春江，郭新宇．数据元表示与农业信息共享．计算机与农业，2003．1
[31]王万森．人工智能原理及其应用．电子工业出版社 2000．9
[32]张银奎，廖丽等译．数据挖掘原理．电子工业出版社．2003，4
[33]林杰斌，刘明德，陈湘编著．数据挖掘与OLAP理论务实．清华大学出版社．2003．1．1
[34]高洪深，决策支持系统(DSS)理沦．方法．案例．清华大学出版社．2000．9
[35]杨冬青，唐世渭等译，数据库系统概念．机械出版社，2000．2
[36]范明，孟晓峰等译，数据挖掘概念与技术．机械工业出版社．2001．8
[37]俞菊生．江洪涛．上海都市农业信息产业化初探．农业图书情报学刊，1999(1)：34～38
[38]易炼红．通向高效农业之路[M]．长沙：湖南教育出版社，1998．89．
[39]戚国强．我国现阶段农业信息技术的发展方向及方案设计的研究．东北农业大学学报，2000．31(1)：95～101
[40]高复先著，信息资源规划——信息化建设基础工程，清华大学出版社，2002
[41]张鹏．信息化与标准化．标准化报道．No．2．2000，10-12
[42]刘植婷．赵艳华编译．数据元的协调(1)．世界标准化与质量管理 1996第1期
[43]刘植婷，赵艳华编译．数据元的协调(2)．世界标准化与质量管理 1996第2期
[44]刘植婷，赵艳华编译．数据元的协调(3)．世界标准化与质暈管理 1996第3期
[45]刘植婷，赵艳华编译．数据元的协调(4)．世界标准化与质景管理 1996第4期
[46]刘植婷，赵艳华编译．数据元的协调(5)．世界标准化与质暈管理 1996第5期
[47]刘植婷，赵艳华编译．数据元的协调(6)．世界标准化与质量管理 1996第6期
[48]张爱，赵艳华，张铭等．国际数据元标准化研究(1) 世界标准化与质量管理 1998年04期
[49]张爱，赵艳华，张铭等．国际数据元标准化研究(2) 世界标准化与质量管理 1998年05期
[50]张爱．赵艳华，张铭等．国际数据元标准化研究(3) 世界标准化与质量管理 1998年06期
[51]夏幼明．基于语义网络的知识表示的形式转换及推理[J]．武汉大学学报(信息科学版)，2001，26(4)：369-372．
[2]Pawlak Z. Rough classification. Int. J. Man-Machine Studies. 20(1984):469-483
[3]Jiawei Han, Micheline Kamber. Data Mining Conceptems, 17(1985):99-102
[4]J. C. Thomas, W. A. Kellogg, T. Erickson. The knowledge management puzzle: Human and social factors in knowledge management。http://www.research.ibm.com/journal/sj/404/thomas.pdf 2003,6
[5]吴志刚，林宁．信息共享、业务协同的前提—数据标准化．信息技术与标准化，2003．1，43-44
[6]张爱，赵艳华等．国际数据元标准研究．世界标准化与质量管理，1998．4
[7]数据交换标准．第四卷．全国文献工作标准化技术委员会编．1996
[8]赵苹．步入21世纪的农业信息化．经济科学出版社．2000．6
[9]王世军．EDI标准化贸易数据元的应用研究，杭州电子工业学院学报．1997
[10]张文修．粗糙及理论与方法．科学出版社，2001
[11]ISO／IEC 11179信息技术——数据元标准协调指南[S](摘录)
[12]GB／T 18391．1信息技术数据元的规范和标准化．国家技术监督总局(第1部分)
[13]GB／T 18391．2信息技术数据元的规范和标准化．国家技术监督总局(第2部分)
[14]GB／T 18391．3信息技术数据元的规范和标准化．国家技术监督总局(第3部分)
[15]GB／T 18391．4信息技术数据元的规范和标准化．国家技术监督总局(第4部分)
[16]GB／T 18391．5信息技术数据元的规范和标准化．国家技术监督总局(第5部分)
[17]GB／T 18391．6信息技术数据元的规范和标准化．国家技术监督总局(第6部分)
[18]王万森．人工智能原理及其应用．北京：电子丁业出版社，2000
[19]陈文伟．决策支持系统及其开发．北京：清华大学出版社，2000
[20]R格罗思．数据挖掘——构筑企业竞爭优势．西安交通大学出版社，2001
[21]创我科技-数据仓库常见名词浅释 www.creawor.com/biforum/bi_01.htm
[22]杨辉．数据挖掘及其在商业银行中的作用．中国金融电脑 1998．11
[23]范明，孟小峰等．数据挖掘概念于技术．北京：机械工业出版社，2001．8
[24]史忠植，张庆杰．张治洪等．知识发现与科学数据库．(中国科学院计算技术研究所 北京 100080)
[25]韩家炜，坎伯．数据挖掘概念及技术[M]．北京：机械工业出版社，2001．149～183．
[26]王国胤．Rough集理论与知识获取[M]．西安：西安交通大学出版社，2001．23～51．
[27]王珊，罗立 从数据库到数据仓库[Z]．中国人民大学文献，1996．
[28]罗晓沛 数据库技术新进股和科学数据库工程[Z] 中国科学院研究生院，1998
[29]何新贵 知识处理与专家系统[M] 北京：国防工业出版社，1990
[30]李文峰 赵春江，郭新宇．数据元表示与农业信息共享．计算机与农业，2003．1
[31]王万森．人工智能原理及其应用．电子工业出版社 2000．9
[32]张银奎，廖丽等译．数据挖掘原理．电子工业出版社．2003，4
[33]林杰斌，刘明德，陈湘编著．数据挖掘与OLAP理论务实．清华大学出版社．2003．1．1
[34]高洪深，决策支持系统(DSS)理沦．方法．案例．清华大学出版社．2000．9
[35]杨冬青，唐世渭等译，数据库系统概念．机械出版社，2000．2
[36]范明，孟晓峰等译，数据挖掘概念与技术．机械工业出版社．2001．8
[37]俞菊生．江洪涛．上海都市农业信息产业化初探．农业图书情报学刊，1999(1)：34～38
[38]易炼红．通向高效农业之路[M]．长沙：湖南教育出版社，1998．89．
[39]戚国强．我国现阶段农业信息技术的发展方向及方案设计的研究．东北农业大学学报，2000．31(1)：95～101
[40]高复先著，信息资源规划——信息化建设基础工程，清华大学出版社，2002
[41]张鹏．信息化与标准化．标准化报道．No．2．2000，10-12
[42]刘植婷．赵艳华编译．数据元的协调(1)．世界标准化与质量管理 1996第1期
[43]刘植婷，赵艳华编译．数据元的协调(2)．世界标准化与质量管理 1996第2期
[44]刘植婷，赵艳华编译．数据元的协调(3)．世界标准化与质暈管理 1996第3期
[45]刘植婷，赵艳华编译．数据元的协调(4)．世界标准化与质景管理 1996第4期
[46]刘植婷，赵艳华编译．数据元的协调(5)．世界标准化与质暈管理 1996第5期
[47]刘植婷，赵艳华编译．数据元的协调(6)．世界标准化与质量管理 1996第6期
[48]张爱，赵艳华，张铭等．国际数据元标准化研究(1) 世界标准化与质量管理 1998年04期
[49]张爱，赵艳华，张铭等．国际数据元标准化研究(2) 世界标准化与质量管理 1998年05期
[50]张爱．赵艳华，张铭等．国际数据元标准化研究(3) 世界标准化与质量管理 1998年06期
[51]夏幼明．基于语义网络的知识表示的形式转换及推理[J]．武汉大学学报(信息科学版)，2001，26(4)：369-372．
© 2004-2018 中国地质图书馆版权所有 京ICP备05064691号 京公网安备11010802017129号 地址：北京市海淀区学院路29号 邮编：100083 电话：办公室：(+86 10)66554848；文献借阅、咨询服务、科技查新：66554700 |