嵌入式视频监控系统的FPGA图像处理子系统设计
|
摘要
随着图像处理技术的不断发展,图像处理技术在国民经济和社会生活的各个方面都得到了广泛的运用。与此同时,人们对图像处理的要求也越来越高。传统的数字图像处理器件主要有专用集成芯片(Application Specific Integrated Circuit)和数字信号处理器(Digital Signal Process)。进入20世纪以来,伴随着半导体技术的发展,现场可编程门阵列FPGA(Filed Programmable Gate Array)以其应用灵活、集成度高、功能强大、设计周期短、开发成本低的特点,越来越多地被应用在图像处理领域。大量实践证明,FPGA的并行处理能力与流水线作业能显著地提高图像处理的速度,因此基于FPGA的图像处理系统有着广阔的发展前景。
本文研究的是一个在嵌入式视频监控系统下的图像预处理子系统。首先实现了一个通用可重复配置的图像处理算法研究硬件平台,完成图像的采集、接收、处理、存储、输出等功能。由于FPGA本身具有完全的可重复配置性,所以该架构的硬件平台可以很方便的升级和重复配置。其次在该平台上,本文使用Verilog HDL硬件语言在FPGA芯片上实现了多种图像预处理算法。在实现过程中,为了充分发挥FPGA在并行处理方面的强大功能,本文对算法做了一定的改进,使其尽量能使用并行处理的方式来完成。实验结果表明,本图像预处理系统能在毫秒级高速地完成多种图像算法,完全能够满足视频监控系统50帧/秒的输出要求。
最后根据视频监控系统在实际运用中出现的噪声类型多样化的情况,我们设计了一种基于反馈理论的图像处理效果控制模块。该模块能通过对处理后图像峰值信噪比(PSNR)的分析,控制FPGA对下一幅图像的噪声采用更有针对性的图像处理方法。
With the continuous development of image processing technology,image processing technology have been widely used in the national economy and all aspects of social life.At the same time,the requirements of the image processing is increasing.Traditional digital image processing devices are mainly ASIC(Application Specific Integrated Circuit) and DSP (Digital Signal processors).Since the beginning of the 20th century,accompanied by the development of semiconductor technology,with its application of flexible,highly integrated, powerful,short design cycle,and low development costs,FPGA(Filed Programmable Gate Array)are increasingly being used in the field of image processing.More and more practice has proved that,FPGA's parallel processing capability and pipeline operations can dramatically improve the speed of image processing,the FPGA-based image processing system has broad prospects for development.
In this paper,we researched a image pre-processing subsystem in an embedded video monitoring system.First of all,we realized a hardware platform for common re-configurable image processing algorithm which could complete image acquisition,receiving,processing, storage,output and other functions.FPGA itself entirely is a result of re-configurable,so the structure of the hardware platform can be easily upgraded and repeatly configurated.Second, in the platform,this article used the Verilog HDL hardware language to achieve a variety of image pre-processing algorithmin the FPGA chip.In the realization of the process,in order to give full play to the FPGA's strong power in parallel processing,we do a certain amount of improvement to make it possible to use parallel processing methods.The experimental results show that the image pre-processing system is able to complete a variety of high-level image algorithms in milliseconds,which completely meet the 50/s output requirements of the video surveillance system.
Finally,according to a variety of types of noise arising from the practical application of video surveillance system,we designed a image processing control module based on feedback theory.The module can analyse the peak signal to noise ratio(PSNR) of the images handled,then control FPGA to using a more targeted approach to process the next image.
本文研究的是一个在嵌入式视频监控系统下的图像预处理子系统。首先实现了一个通用可重复配置的图像处理算法研究硬件平台,完成图像的采集、接收、处理、存储、输出等功能。由于FPGA本身具有完全的可重复配置性,所以该架构的硬件平台可以很方便的升级和重复配置。其次在该平台上,本文使用Verilog HDL硬件语言在FPGA芯片上实现了多种图像预处理算法。在实现过程中,为了充分发挥FPGA在并行处理方面的强大功能,本文对算法做了一定的改进,使其尽量能使用并行处理的方式来完成。实验结果表明,本图像预处理系统能在毫秒级高速地完成多种图像算法,完全能够满足视频监控系统50帧/秒的输出要求。
最后根据视频监控系统在实际运用中出现的噪声类型多样化的情况,我们设计了一种基于反馈理论的图像处理效果控制模块。该模块能通过对处理后图像峰值信噪比(PSNR)的分析,控制FPGA对下一幅图像的噪声采用更有针对性的图像处理方法。
With the continuous development of image processing technology,image processing technology have been widely used in the national economy and all aspects of social life.At the same time,the requirements of the image processing is increasing.Traditional digital image processing devices are mainly ASIC(Application Specific Integrated Circuit) and DSP (Digital Signal processors).Since the beginning of the 20th century,accompanied by the development of semiconductor technology,with its application of flexible,highly integrated, powerful,short design cycle,and low development costs,FPGA(Filed Programmable Gate Array)are increasingly being used in the field of image processing.More and more practice has proved that,FPGA's parallel processing capability and pipeline operations can dramatically improve the speed of image processing,the FPGA-based image processing system has broad prospects for development.
In this paper,we researched a image pre-processing subsystem in an embedded video monitoring system.First of all,we realized a hardware platform for common re-configurable image processing algorithm which could complete image acquisition,receiving,processing, storage,output and other functions.FPGA itself entirely is a result of re-configurable,so the structure of the hardware platform can be easily upgraded and repeatly configurated.Second, in the platform,this article used the Verilog HDL hardware language to achieve a variety of image pre-processing algorithmin the FPGA chip.In the realization of the process,in order to give full play to the FPGA's strong power in parallel processing,we do a certain amount of improvement to make it possible to use parallel processing methods.The experimental results show that the image pre-processing system is able to complete a variety of high-level image algorithms in milliseconds,which completely meet the 50/s output requirements of the video surveillance system.
Finally,according to a variety of types of noise arising from the practical application of video surveillance system,we designed a image processing control module based on feedback theory.The module can analyse the peak signal to noise ratio(PSNR) of the images handled,then control FPGA to using a more targeted approach to process the next image.
引文
[1]余松煜,周源华,张瑞.数字图像处理.上海交通大学出版社,2007(1):5-7
[2]李俊山,李旭辉,数字图像处理.清华大学出版社,2007(4)
[3]宇野由麻子,大石基之.FPGA产品市场现状与展望.电子设计应用2004,60(12):63-71
[4]王诚,吴继华,范丽珍等.Altera FPGA/CPLD设计(基础篇).人民邮电出版社,2005(7)
[5]郭兵,沈艳,林永宏,韩磊等.SoC技术原理与应用.清华大学出版社,2006(4):52-55
[6]王建校,危建国.SOPC设计基础与实践.西安电子科技大学出版社,2006(4)
[7]孟宪元,钱伟康.FPGA嵌入式系统设计.电子工业出版社,2007(10):89-93
[8]刘韬,楼兴华.FPGA数字电子系统设计与开发实例导航.人民邮电出版社.2005(4):45-46
[9]Richard Williams.Increase Image Processing System Performance with FPGAs.Xcell Journal,2004,16(2):10-11
[10]Uwe Meyer-Baese.Digital Image Processing FPGA Implement.清华大学出版社,2003(1)
[11]徐欣,于红旗,易凡等.基于即以的嵌入式系统设计.机械工业出版社,2004(9)
[12]姜咏江.基于Quartus Ⅱ的计算机核心设计.清华大学出版社,2007(3)
[13]王冠,黄熙,王鹰.机械工业出版社,2006(1)
[14]李广军,孟宪元.可编程ASIC设计及应用.成都:电子科技大学出版社,2000(10):29-50.
[15]Milan Sonka等.艾海舟,武勃等译.图像处理、分析与机器视觉(第二版).人民邮电出版社,2003.
[16]王诚,吴继华,范丽珍等.Altera FPGA/CPLD设计(高级篇).人民邮电出版社,2005(7)
[17]王诚,吴继华,范丽珍等.Altera FPGA/CPLD设计(高级篇).人民邮电出版社,2005(7);21-27
[18]任晓东,文博.CPLD/FPGA高级应用开发指南.电子工业出版社.2003.(6)
[19]潘松,黄继业.EDA技术实用教程.科学出版社.2002
[20]延明.FPGA在数字图像处理中的应用,电子技术,2005(1):74-76
[21]黄智伟,王彦.FPGA系统设计与实践,电子工业出版社,2005
[22]UweMeeyerB.数字信号处理的FPGA实现.清华大学出版社,2003
[23]LlweM..数字信号处理的FPGA实现.清华大学出版社,2003
[24]侯志恒.实时图像中值滤波算法及硬件实现.光电技术.2001年(3)33-34
[25]李在铭.数字图像处理压缩与识别技术.成都电子科技大学出版社.2000
[26]张玉英.基于FPGA的数字图像处理系统:[硕士学位论文].北京理工大学北京理工大学光电工程系.2000.
[27]张永军.基于FPGA的图像处理系统设计与算法实现研究:[硕士学位论文].重庆大学,重庆大学电光系,2000
[28]任爱锋,初秀琴,常存,孙肖子.基于FPGA的嵌入式系统设计.西安电子科技大学出版社,2004(1)
[29]王冠.面向CPLD/FPGA的Verilog设计.机械工业出版社,2007
[30]徐欣,于红旗,易凡等.基FPGA的嵌入式系统设计xilinxEdition.北京二机械工业出版社,2005
[31]付煜强.基于FPGA的图像处理算法的研究与硬件设计:(硕士学位论文).南昌大学,2006.
[32]崔屹.图像处理与分析—数学形态学方法及应用.科学出版社,2000.
[33]叶敏,周文晖,顾伟康.基于FPGA的实时图像滤波及边缘检测方法.传感技术学报.2007,20(3):625-625
[34]尹业宏,王涛,陈颖.基于FPGA的图像预处理滤波算法.光学与光电技术.2004,2(5):61-63
[35]朱捷,朱小娟,贺明.基于T.FPGA的实时性的图像处理中值滤波器设计实现.计算机测量与控制.2007,15(6):798-800.
[36]尹业宏,王涛,陈颖.基于FPGA的图像预处理滤波算法,光学与光电技术,2004,2(5),61-64
[37]Milan Sonka等.艾海舟,武勃等译.图像处理、分析与机器视觉(第二版).人民邮电出版社,2003.
[38]周富强,张广军.视觉检测中高速图像采集技术的研究.北京航空航天大学学报,2002(2):157-160.
[39]高丽燕.基于dsp十fpga的图像识别系统设计与实现.[硕士学位论文],南京理工大学,2006.
[40]李在铭.数字图像处理压缩与识别技术.成都电子科技大学出版社.2000
[41]李广军,孟宪元.可编程ASIC设计及应用.电子科技大学出版社,2000(10):29-50.
[42]薛以辉.基于FPGA的嵌入式系统的设计与实现:[硕士学位论文].长沙:国防科 技大学,2003
[43]李春鸣,张焕春,张波.一种基于FPGA的图像中值滤波器的硬件实现.电子工程师,2004,30(2):25-26
[44]初秀琴,曾祥永,李玉山.一种新型的实时图像处理机结构及Sobel电路设计.仪器仪表学报,2003,24(5):506-508
[45]叶敏,周文晖,顾伟康.基于FPGA的实时图像滤波及边缘检测方法.传感技术学报.2007,20(3):625-626
[46]张崇,于晓琳,FPGA在图像处理中的应用,电子质量,2004,(3):13-19
[47]易平,陈福生,图像处理中消除噪声的方法,计算机应用与软件,2003,(5):29-31
[48]李树涛,王耀南.图像椒盐噪声的非线性自适应滤除,中国图像图形学报,2000,(12):999-1001
[49]张毓晋.图像工程(上册)—图像处理和分析.清华大学出版社,2000.
[2]李俊山,李旭辉,数字图像处理.清华大学出版社,2007(4)
[3]宇野由麻子,大石基之.FPGA产品市场现状与展望.电子设计应用2004,60(12):63-71
[4]王诚,吴继华,范丽珍等.Altera FPGA/CPLD设计(基础篇).人民邮电出版社,2005(7)
[5]郭兵,沈艳,林永宏,韩磊等.SoC技术原理与应用.清华大学出版社,2006(4):52-55
[6]王建校,危建国.SOPC设计基础与实践.西安电子科技大学出版社,2006(4)
[7]孟宪元,钱伟康.FPGA嵌入式系统设计.电子工业出版社,2007(10):89-93
[8]刘韬,楼兴华.FPGA数字电子系统设计与开发实例导航.人民邮电出版社.2005(4):45-46
[9]Richard Williams.Increase Image Processing System Performance with FPGAs.Xcell Journal,2004,16(2):10-11
[10]Uwe Meyer-Baese.Digital Image Processing FPGA Implement.清华大学出版社,2003(1)
[11]徐欣,于红旗,易凡等.基于即以的嵌入式系统设计.机械工业出版社,2004(9)
[12]姜咏江.基于Quartus Ⅱ的计算机核心设计.清华大学出版社,2007(3)
[13]王冠,黄熙,王鹰.机械工业出版社,2006(1)
[14]李广军,孟宪元.可编程ASIC设计及应用.成都:电子科技大学出版社,2000(10):29-50.
[15]Milan Sonka等.艾海舟,武勃等译.图像处理、分析与机器视觉(第二版).人民邮电出版社,2003.
[16]王诚,吴继华,范丽珍等.Altera FPGA/CPLD设计(高级篇).人民邮电出版社,2005(7)
[17]王诚,吴继华,范丽珍等.Altera FPGA/CPLD设计(高级篇).人民邮电出版社,2005(7);21-27
[18]任晓东,文博.CPLD/FPGA高级应用开发指南.电子工业出版社.2003.(6)
[19]潘松,黄继业.EDA技术实用教程.科学出版社.2002
[20]延明.FPGA在数字图像处理中的应用,电子技术,2005(1):74-76
[21]黄智伟,王彦.FPGA系统设计与实践,电子工业出版社,2005
[22]UweMeeyerB.数字信号处理的FPGA实现.清华大学出版社,2003
[23]LlweM..数字信号处理的FPGA实现.清华大学出版社,2003
[24]侯志恒.实时图像中值滤波算法及硬件实现.光电技术.2001年(3)33-34
[25]李在铭.数字图像处理压缩与识别技术.成都电子科技大学出版社.2000
[26]张玉英.基于FPGA的数字图像处理系统:[硕士学位论文].北京理工大学北京理工大学光电工程系.2000.
[27]张永军.基于FPGA的图像处理系统设计与算法实现研究:[硕士学位论文].重庆大学,重庆大学电光系,2000
[28]任爱锋,初秀琴,常存,孙肖子.基于FPGA的嵌入式系统设计.西安电子科技大学出版社,2004(1)
[29]王冠.面向CPLD/FPGA的Verilog设计.机械工业出版社,2007
[30]徐欣,于红旗,易凡等.基FPGA的嵌入式系统设计xilinxEdition.北京二机械工业出版社,2005
[31]付煜强.基于FPGA的图像处理算法的研究与硬件设计:(硕士学位论文).南昌大学,2006.
[32]崔屹.图像处理与分析—数学形态学方法及应用.科学出版社,2000.
[33]叶敏,周文晖,顾伟康.基于FPGA的实时图像滤波及边缘检测方法.传感技术学报.2007,20(3):625-625
[34]尹业宏,王涛,陈颖.基于FPGA的图像预处理滤波算法.光学与光电技术.2004,2(5):61-63
[35]朱捷,朱小娟,贺明.基于T.FPGA的实时性的图像处理中值滤波器设计实现.计算机测量与控制.2007,15(6):798-800.
[36]尹业宏,王涛,陈颖.基于FPGA的图像预处理滤波算法,光学与光电技术,2004,2(5),61-64
[37]Milan Sonka等.艾海舟,武勃等译.图像处理、分析与机器视觉(第二版).人民邮电出版社,2003.
[38]周富强,张广军.视觉检测中高速图像采集技术的研究.北京航空航天大学学报,2002(2):157-160.
[39]高丽燕.基于dsp十fpga的图像识别系统设计与实现.[硕士学位论文],南京理工大学,2006.
[40]李在铭.数字图像处理压缩与识别技术.成都电子科技大学出版社.2000
[41]李广军,孟宪元.可编程ASIC设计及应用.电子科技大学出版社,2000(10):29-50.
[42]薛以辉.基于FPGA的嵌入式系统的设计与实现:[硕士学位论文].长沙:国防科 技大学,2003
[43]李春鸣,张焕春,张波.一种基于FPGA的图像中值滤波器的硬件实现.电子工程师,2004,30(2):25-26
[44]初秀琴,曾祥永,李玉山.一种新型的实时图像处理机结构及Sobel电路设计.仪器仪表学报,2003,24(5):506-508
[45]叶敏,周文晖,顾伟康.基于FPGA的实时图像滤波及边缘检测方法.传感技术学报.2007,20(3):625-626
[46]张崇,于晓琳,FPGA在图像处理中的应用,电子质量,2004,(3):13-19
[47]易平,陈福生,图像处理中消除噪声的方法,计算机应用与软件,2003,(5):29-31
[48]李树涛,王耀南.图像椒盐噪声的非线性自适应滤除,中国图像图形学报,2000,(12):999-1001
[49]张毓晋.图像工程(上册)—图像处理和分析.清华大学出版社,2000.