读写分离技术架构下海量数据的索引构建研究

详细信息    查看全文 | 推荐本文 |

英文篇名：Research onindex construction of massive data under the framework of read-write separation technology 作者：王哲 ; 邱宇 ; 刘梓健 ; 徐培瑶 英文作者：WANG Zhe;QIU Yu;LIU Zijian;XU Peiyao;Guangdong Power Grid Co.,Ltd..Information Center; 关键词：电力系统 ; 读写分离技术 ; 数据索引 ; 静态索引 ; 增量索引 英文关键词：power system;;read and write separation technology;;data index;;static index;;incremental index 中文刊名：ZDYY 英文刊名：Automation & Instrumentation 机构：广东电网有限责任公司信息中心; 出版日期：2019-02-25 出版单位：自动化与仪器仪表 年：2019 期：No.232 语种：中文; 页：ZDYY201902015 页数：4 CN：02 ISSN：50-1066/TP 分类号：55-58

摘要

针对电力系统安全生产管理平台由于数据量的增加导致系统性能下降的问题,研究了基于读写分离技术架构下的海量数据索引方法。在分析LSM-Tree索引技术的基础上,提出了面向读写分离、批量更新存储机制的LSM-Index分布式索引方法。在此基础上,利用静态索引和增量索引的方式构建了局部索引与全局索引框架。并基于map-reduce排序方式完成了大数据的静态索引建构,同时利用并行任务调度模型对其进行了优化,实现了数据的快速存取和检索。本研究内容对于提高电力系统安全生产管理平台数据处理能力,改善系统性能具有重要意义。
        In this paper,the method of mass data indexing based on read write separation technology is studied in order to reduce the performance of the system due to the increase of data amount. Based on the analysis of LSM-Tree index technology,a distributed LSM-Index indexing method is proposed,which is oriented to read and write separation and batch update storage mechanism. On this basis,a local index and a global index framework are constructed by using static index and incremental index. The static index construction of large data is completed based on the map-reduce sorting method. At the same time,the parallel task scheduling model is used to optimize it,and the fast access and retrieval of data are realized. The research contents in this paper are of great significance for improving the data processing ability of power system safety production management platform and improving the system performance.

引文

[1]沙光华,陈泳,张长江.读写分离技术在运营支撑系统中的应用[J].计算机工程与应用,2015,51(12):107-110.
    [2]杜丛强,孙丙腾.DB2数据库读写分离技术在银行核心系统中的应用[J].信息技术与信息化,2017,(12):51-53.
    [3]宋浒,张明明,胡俊军,等.灾备端数据库读写分离技术研究[J].信息技术,2017,(1):26-29.
    [4]曾家杰.读写分离数据架构在电力大集中系统中的设计与应用[J].信息与电脑:理论版,2015,(24):82-84.
    [5]隆飞,翁海星,高明,等.基于LSM Tree的分布式索引实现[J].华东师范大学学报:自然科学版,2016,(5):36-44.
    [6]王广钰,李英玉.基于Hadoop的空间科学大数据的区域检索算法[J].电子设计工程,2018,26(5):48-51.
    [7]吴炜,苏永红,李瑞轩,等.基于DHT的分布式索引技术研究与实现[J].计算机科学,2010,37(2):65-70.
    [8]张玥,俞昊旻,张奇,等.面向文本拷贝检测的分布式索引[J].中文信息学报,2011,25(1):91-98.
    [9]万轶,向广利.基于hadoop和hbase的分布式索引集群研究[J].信息技术与信息化,2015,(1):102-103.
    [10]庞敏.基于Web的电子产品信息分布式检索系统的设计与实现[J].电子设计工程,2016,24(21):82-84.
    [11]王立,陈军峰.Hadoop分布式的海量图像检索[J].现代电子技术,2018,41(9):62-67.
    [12]窦晓峰,陈胜,王熠航,等.应用分布式索引提高海量数据查询性能[J].计算机系统应用,2014,23(6):259-261.
    [13]陈宜明.分布式索引在大规模视觉搜索中的研究与应用[D].沈阳:中国科学院研究生院,2012.
    [14]张路,袁晓洁,刘芳,等.大规模数据集的分布式索引机制研究[J].微电子学与计算机,2008,25(10):121-124.
    [15]曲朝阳,孙立擎,许劭庆,等.基于B+树的电力大数据分布式索引[J].东北电力大学学报,2016,36(5):80-85.
    [16]陈俊,杜旭,程文青,等.对等网络点播系统中一种分布式索引结构[J].华中科技大学学报:自然科学版,2011,(3):66-70.
    [17]黄斌,彭宇行,彭小宁.云计算环境中高效分布式索引技术[J].武汉大学学报:信息科学版,2014,39(11):1375-1381.