数据仓库和OLAP技术在电信领域中的研究与实现
摘要
本文从电信推出全新客户品牌“我的e家”业务入手,提出了将Mondrian+JPivot应用到电信专题领域的解决方案,详细的介绍了“我的e家”专题分析系统的分析、设计以及实现过程,通过系统OLAP展示,最终让数据能够多角度展示和分析,达到让客户深刻理解数据的目的。全文主要对以下方面进行了研究:
首先,运用数据仓库和OLAP的相关知识,分析设计出以“我的e家”为主题的逻辑模型、物理模型。在模型设计过程中,使用了汇总事实表以及核心事实表等多种策略,大大提高了OLAP系统的效率。
其次,文中提出了建立专题分析系统进而集成为大系统的思路。从“我的e家”专题业务入手,结合未来要集成的实际,选择了灵活方便、集成容易的开源Mondrian作为其OLAP服务器,解决了系统将来集成问题。
再次,在数据仓库元数据的存储方面,尝试使用XML语言实现OLAP元数据的存储,MDX作为在其上的查询语言,最终查询结果返回给展示层,由Mondrian的展示层jPirot展示给用户。
“我的e家”专题OLAP系统结合数据仓库、OLAP、XML、MDX、开源Mondrian等多种方面知识和技能,开发出基于WEB的“我的e家”OLAP专题系统,给电信“我的e家”专题提供了良好的决策支持。该研究和实践对各个领域的OLAP系统的设计和实现也有很好的借鉴意义。
Based on the business of ONE HOME, the new brand of China Telecom which is, this paper presents a solution that applies the Mondrian + JPivot in the telecom field. The whole analyzing, designing and implementing processes are introduced in detail. Throug the displaying of OLAP in system, the dada can be displayed and analyzed at multi aspect, which makes the data be deeply understood by users.
At first, the logic model and physical model are designed by using the relative knowledge of data warehouse and OLAP. Using the summary table and core fact table can greatly improve the efficiency of OLAP systems.
Secondly, this paper presents the idea of establishing special analyze system and merging into a big system. According to the business of ONE HOME and the future needs, Mondrian is chosen to be the OLAP server of this system because it is flexible and easy to integrate; this can solve system integration issues in future greatly.
Then, in the aspect of the storage of metadata, XML is used to implement the storage of OLAP metadata, The MDX is chosen to be the query language, then the result of query is returned to the presenting layer. The function of front presenting is implemented by the JPivot of Mondrian presenting layer.
Special OLAP system of ONE HOME is relative to the data warehouse, OLAP, XML, MDX, open source Mondrian and so on, Special OLAP system of ONE HOME is implemented. It can excellently support the decision of telecom field. This research and development can also be used for reference in the design and implementing of OLAP system in other fields.
首先,运用数据仓库和OLAP的相关知识,分析设计出以“我的e家”为主题的逻辑模型、物理模型。在模型设计过程中,使用了汇总事实表以及核心事实表等多种策略,大大提高了OLAP系统的效率。
其次,文中提出了建立专题分析系统进而集成为大系统的思路。从“我的e家”专题业务入手,结合未来要集成的实际,选择了灵活方便、集成容易的开源Mondrian作为其OLAP服务器,解决了系统将来集成问题。
再次,在数据仓库元数据的存储方面,尝试使用XML语言实现OLAP元数据的存储,MDX作为在其上的查询语言,最终查询结果返回给展示层,由Mondrian的展示层jPirot展示给用户。
“我的e家”专题OLAP系统结合数据仓库、OLAP、XML、MDX、开源Mondrian等多种方面知识和技能,开发出基于WEB的“我的e家”OLAP专题系统,给电信“我的e家”专题提供了良好的决策支持。该研究和实践对各个领域的OLAP系统的设计和实现也有很好的借鉴意义。
Based on the business of ONE HOME, the new brand of China Telecom which is, this paper presents a solution that applies the Mondrian + JPivot in the telecom field. The whole analyzing, designing and implementing processes are introduced in detail. Throug the displaying of OLAP in system, the dada can be displayed and analyzed at multi aspect, which makes the data be deeply understood by users.
At first, the logic model and physical model are designed by using the relative knowledge of data warehouse and OLAP. Using the summary table and core fact table can greatly improve the efficiency of OLAP systems.
Secondly, this paper presents the idea of establishing special analyze system and merging into a big system. According to the business of ONE HOME and the future needs, Mondrian is chosen to be the OLAP server of this system because it is flexible and easy to integrate; this can solve system integration issues in future greatly.
Then, in the aspect of the storage of metadata, XML is used to implement the storage of OLAP metadata, The MDX is chosen to be the query language, then the result of query is returned to the presenting layer. The function of front presenting is implemented by the JPivot of Mondrian presenting layer.
Special OLAP system of ONE HOME is relative to the data warehouse, OLAP, XML, MDX, open source Mondrian and so on, Special OLAP system of ONE HOME is implemented. It can excellently support the decision of telecom field. This research and development can also be used for reference in the design and implementing of OLAP system in other fields.
引文
[1]王赛.基于J2EE架构技术的OLAP系统的设计与应用[D].北京:京邮电大学,2006
[2]CoddE F,Codd S B,Salley C.T.Porviding OLAP to User--Analysts[J]:An IT Mandate.White PaPer.Arbor Sotfware Coproration 1993.
[3]毕然.一个基于实视图的ROLAP系统的设计与实现[D].东南大学,2004
[4]Inmon W.H[美].数据仓库[M].机械工业出版社,2000
[5]林苏艳.数据仓库和数据挖掘技术在银行CRM中的应用[D].苏州大学计算机技术,2008
[6]Inmon,William H.Building the Data Warehouse(M) John Wiley & Sons Inc 2005
[7]薛红,王敏.基于DW+OLAP+DM的超市销售决策支持系统[J].计算机工程,2007:64-67
[8]Inmon W.H[美].数据仓库[M]机械工业出版社.2000:20-23
[9]RalphKimball,MargyRoss.数据仓库工具箱:维度建模的完全指南[M]第2版.北京:电子工业出版社,2003.
[10]夏雨.基于主题集成的多维数据模型和OLAP分析[D].重庆大学,2007
[11]LoukoPoulos.T.Allmad.Ⅰ.Policies for Caching OLAP Queries in Intenret Proxies.Digital Object Identifier 10.1109/TPDS.2006.143 Volume 17.1ssue,2006
[12]王海.基于WEB的OLAP决策支持系统实现与应用[D].重庆大学计算机软件与理论,2006
[13]姚家奕等.多维数据分析原理与应用[M].清华大学出版社,2004
[14]雅可布斯[美].许劲松等译.XML基础教程:入门、DOM、Ajax与Flash[M].人民邮电出版社
[15]Aaron Skonnard Martin Gudgi[美].XML精要快速参考手册-XML、Xpath、XSLT、XML Schema、SOAP[M].人民邮电出版社,2002
[16]高丽平.XML在OLAP系统中的应用[J].郑州轻工业学院学报(自然科学版),2004
[17]XML Metadata Exchange(XML) Specification version 1.2.Object Management Group,2001.
[18]孙鑫.XML、XML Schema、XSLT 2.0和XQuery开发详解[M].电子工业出版社,2009
[19]万林庭,毛选.XML Schema数据库编程指南[M].电子工业出版社,2002
[20]韩守忠.银行商业智能系统研究与实现[D].安徽大学计算机应用,2006:20-25
[21]黄立峰.基于MDX多维查询算法研究[D].中南大学计算机应用技术,2007:12-13
[22]仓鹏.基于Oracle Optimizer对Mondrian中间代码的优化[D].北京大学软件与微电子学院,2007
[23]曹忠升,黄宇殊,冯剑琳.多维查询语言DM_MDX编译器的设计与实现[J].计算机工程与应用,2004
[24]George Spofford,Sivakumar Harinath,李仁见,董霖.MDX解决方案[M].清华大学出版社,2008
[25]张新曼.精通jsp-web开发技术与典型应用[M].人民邮电出版社,2007
[26]孙卫琴,李洪成.Tomcat与Java Web开发技术详解[M].北京:电子工业出版社,2004:43-57
[27]刘晓华,张健,周慧贞.JSP应用开发详解[M](第三版).电子工业出版社,2007
[28]http://mondrian.pentaho.org/ "Mondrian project"
[29]开源技术选型手册编委会.开源技术选型手册[M].电子工业出版社,2008:268-310
[30]http://www.phpchina.com/html/86/n-33486.html
[31]http://jpivot.sourceforge.net/
[32]http://www.oschina.net/p/jpivot/articles
[33]http://www.blogjava.net/hengheng123456789/articles/85198.html
[34]张中平,徐佑军.OLAP技术在电信领域中的应用[J].计算机工程与设计,2005
[35]冯洁,宋英姿.信息化建设[J],2007
[36]中国电信推出家庭客户品牌“我的e家”[J].中国新闻周刊,2007
[37]马栋.国内电信业首个面向家庭客户的品牌“我的e家”[J].信息网络,2007
[38]http://www.ct10000.com/onehome/
[39]中国电信[S].(企业数据应用门户规范)
[40]RalphKimball,MargyRoss.数据仓库工具箱:维度建模的完全指南[M]第2版.北京:电子工业出版社,2003
[41]Price[美],冯锐,由渊霞.Oracle Database 10g SQL开发指南[M].北京:清华大学出版社,2005
[42]何明.从实践中学习Oracle/SQL[M].北京:清华大学出版社,2007
[43]段云峰,吴唯宁,李剑威,韩洁.数据仓库及其在电信领域中的应用[M].电子工 业出版社,2003
[44]斯波福特,海瑞内撤,李仁见,董霖译.MDX解决方案[M](第2版).北京:清华大学出版社,2008
[2]CoddE F,Codd S B,Salley C.T.Porviding OLAP to User--Analysts[J]:An IT Mandate.White PaPer.Arbor Sotfware Coproration 1993.
[3]毕然.一个基于实视图的ROLAP系统的设计与实现[D].东南大学,2004
[4]Inmon W.H[美].数据仓库[M].机械工业出版社,2000
[5]林苏艳.数据仓库和数据挖掘技术在银行CRM中的应用[D].苏州大学计算机技术,2008
[6]Inmon,William H.Building the Data Warehouse(M) John Wiley & Sons Inc 2005
[7]薛红,王敏.基于DW+OLAP+DM的超市销售决策支持系统[J].计算机工程,2007:64-67
[8]Inmon W.H[美].数据仓库[M]机械工业出版社.2000:20-23
[9]RalphKimball,MargyRoss.数据仓库工具箱:维度建模的完全指南[M]第2版.北京:电子工业出版社,2003.
[10]夏雨.基于主题集成的多维数据模型和OLAP分析[D].重庆大学,2007
[11]LoukoPoulos.T.Allmad.Ⅰ.Policies for Caching OLAP Queries in Intenret Proxies.Digital Object Identifier 10.1109/TPDS.2006.143 Volume 17.1ssue,2006
[12]王海.基于WEB的OLAP决策支持系统实现与应用[D].重庆大学计算机软件与理论,2006
[13]姚家奕等.多维数据分析原理与应用[M].清华大学出版社,2004
[14]雅可布斯[美].许劲松等译.XML基础教程:入门、DOM、Ajax与Flash[M].人民邮电出版社
[15]Aaron Skonnard Martin Gudgi[美].XML精要快速参考手册-XML、Xpath、XSLT、XML Schema、SOAP[M].人民邮电出版社,2002
[16]高丽平.XML在OLAP系统中的应用[J].郑州轻工业学院学报(自然科学版),2004
[17]XML Metadata Exchange(XML) Specification version 1.2.Object Management Group,2001.
[18]孙鑫.XML、XML Schema、XSLT 2.0和XQuery开发详解[M].电子工业出版社,2009
[19]万林庭,毛选.XML Schema数据库编程指南[M].电子工业出版社,2002
[20]韩守忠.银行商业智能系统研究与实现[D].安徽大学计算机应用,2006:20-25
[21]黄立峰.基于MDX多维查询算法研究[D].中南大学计算机应用技术,2007:12-13
[22]仓鹏.基于Oracle Optimizer对Mondrian中间代码的优化[D].北京大学软件与微电子学院,2007
[23]曹忠升,黄宇殊,冯剑琳.多维查询语言DM_MDX编译器的设计与实现[J].计算机工程与应用,2004
[24]George Spofford,Sivakumar Harinath,李仁见,董霖.MDX解决方案[M].清华大学出版社,2008
[25]张新曼.精通jsp-web开发技术与典型应用[M].人民邮电出版社,2007
[26]孙卫琴,李洪成.Tomcat与Java Web开发技术详解[M].北京:电子工业出版社,2004:43-57
[27]刘晓华,张健,周慧贞.JSP应用开发详解[M](第三版).电子工业出版社,2007
[28]http://mondrian.pentaho.org/ "Mondrian project"
[29]开源技术选型手册编委会.开源技术选型手册[M].电子工业出版社,2008:268-310
[30]http://www.phpchina.com/html/86/n-33486.html
[31]http://jpivot.sourceforge.net/
[32]http://www.oschina.net/p/jpivot/articles
[33]http://www.blogjava.net/hengheng123456789/articles/85198.html
[34]张中平,徐佑军.OLAP技术在电信领域中的应用[J].计算机工程与设计,2005
[35]冯洁,宋英姿.信息化建设[J],2007
[36]中国电信推出家庭客户品牌“我的e家”[J].中国新闻周刊,2007
[37]马栋.国内电信业首个面向家庭客户的品牌“我的e家”[J].信息网络,2007
[38]http://www.ct10000.com/onehome/
[39]中国电信[S].(企业数据应用门户规范)
[40]RalphKimball,MargyRoss.数据仓库工具箱:维度建模的完全指南[M]第2版.北京:电子工业出版社,2003
[41]Price[美],冯锐,由渊霞.Oracle Database 10g SQL开发指南[M].北京:清华大学出版社,2005
[42]何明.从实践中学习Oracle/SQL[M].北京:清华大学出版社,2007
[43]段云峰,吴唯宁,李剑威,韩洁.数据仓库及其在电信领域中的应用[M].电子工 业出版社,2003
[44]斯波福特,海瑞内撤,李仁见,董霖译.MDX解决方案[M](第2版).北京:清华大学出版社,2008