|
摘要：在線結構光視覺三維測量系統中，為了實現對結構光圖像線條紋中心的實時高精度提取，本文采用了極值法、閾值法和灰度重心法相結合的中心線提取方法。利用現場可編程門陣列器件(FPGA)的流水線技術以及并行技術的硬件設計來完成運算，保證了光條紋中心點的實時準確提取。實驗表明采用FPGA 實現圖像處理的專用算法能滿足圖像數據進行實時準確提取的要求。 引言 隨著測控技術及數字圖像處理技術的高速發展，基于三角法線結構光的三維測量具有高精度、非接觸、實時性和強主動受控性的特性，因此在現實中有廣泛的應用，尤其是在計算機視覺、醫療診斷和工業檢測等領域應用價值日漸增強。在結構光檢測系統中，利用CCD相機以及工業相機攝取用線結構平面激光照射照在物體表面形成的光條紋中心信息，然后根據光條紋中心偏移量進行三維定標，這樣可以得到物體表面的各類信息，比如表面的缺陷以及形變等。有鑒于此，線結構光條中心信息的圖像處理在測量過程中就顯得十分關鍵[1-3]。雖然目前結構光中心線的提取方法有許多種，比如：閾值法、極值法、灰度重心法、方向模板法、Hessian矩陣法等[4-6]，這些方法都有各自的優缺點以及一定的應用范圍。基于數字圖像處理的特點是處理的數據量非常大，處理非常耗時。所以本文研究了在FPGA上用硬件描述語言實現圖像的中心線提取算法，采用了極值法、閾值法和重心法相結合的中心線提取方法。通過功能模塊的硬件化，以便高速提取結構光中心線。結果表明，實驗系統達到了基于視頻速度的應用要求。 1 系統硬件設計 圖1為光條中心線提取系統的硬件設計框圖。整個中心線提取系統主要有四個組成部分： (1)視頻數據編碼模塊：編碼器采用ANALOG DEVICES公司的ADV7179芯片，該編碼器能實現ITU—R BT601/BT656 YCrCb(其比例為4:2:2)格式的數字信號轉為NTSC/PAL摸擬視頻輸出信號; (2)DDR2 SDRAM存儲器控制模塊：選用兩片MICRON公司的MT47H64M16 DDR2存儲器來實現圖像幀數的交叉緩存，為后面的中心線提取提供像素值以及坐標值; (3)中心線提取模塊：FPGA采用的是Altera公司Cyclone III系列的EP3C40F484C6芯片，該芯片價格低廉、實用性強，能充分發揮芯片的并行計算能力，實現中心線的快速提取; (4)視頻數據編解碼模塊：解碼器采用TEXAS INSTRUMENT 公司的TVP5150芯片，該芯片低功耗，能解決視頻輸入輸出同步問題，而且輸出型號的特性可以通過I2C串行接口進行編程配置。 整個系統從CCD攝像機接收的模擬視頻信號通過視頻解碼芯片解碼后，轉換成BT656(4：2：2)YCbCr SDTV(標清)格式的數字視頻信號，通過一個FIFO來進行行/場消隱、解出同步信息等操作，之后提取圖像信息的Y(亮度值)分量，然后在數據上傳輸。對于圖像的傳送采用兩片DDR2來進行奇偶兩場傳送;同時對視頻解碼器輸出的同步信號進行檢測。當有效數據到來時，FPGA選擇一片DDR2，使用隔行存儲方式，完成一幀圖像的存儲，當第二幀圖像有效數據到來時，FPGA選擇另一片DDR2，以相同的方式完成第二幀圖像的存儲，依次交叉存儲，然后經內部的處理模塊處理后得到圖像光帶中心線坐標[8]。將提取的一行中心線坐標存儲在RAM里面，再經過視頻編碼器將數字視頻信號轉換成模擬視頻信號輸出到顯示終端顯示。 2 算法的FPGA實現 2.1 算法流程 我們首先以列掃描的方式讀出一幀數據，并將讀出的亮度值與所設定的閾值進行比較。濾除不需要的點，然后通過像素值比較得到像素值最大點，之后用最大點周邊的3*3鄰接點來進行灰度重心法計算出光條中心點。具體做法如下： (1)由于光帶圖像中的亮點太多，所以對讀出的像素值與設定的閾值進行比較，濾除雜點; (2)對大于閾值的點進行比較，找到亮度值最大的點 及其周邊3*3鄰域點; (3)然后，對 分別運用(1)式求得其亞像素坐標： (1)2.2 存儲單元 對于算法的實現，還要考慮圖像數據的存儲結構。這其中包括：點存儲器，用來存儲需要運算的單個像素點;行存儲器，用來緩存需要運算的圖像的一行像素點;幀存儲器，用來存儲整幀圖像。一般幀存儲器都需要很大的容量，而FPGA內部實現起來比較困難，所以FPGA板都會增加外部存儲器，由外部的DDR2 SDRAM 芯片實現[9];為了使進行運算的領域9個3*3的像素點能在同一時鐘輸出，便于進行之后的流水線算法模塊，因此在3*3的滑動窗的硬件設計中，本文采用了2個RAM存儲器來進行行存儲。具體操作是：先用兩個RAM存儲器存儲兩行數據，等到第三行到來時，再將前兩行的數據讀出來，之后用9個寄存器存儲這9個數據，以保證數據的同時獲取[10]。存儲結構見圖2所示。 這樣，當圖像像素點串行輸入時，經過這種結構的存儲器系統，即可得到相應點進行灰度重心法計算所需的所有鄰域點的并行輸出。 2.3 運算單元 運算單元由乘法器和流水線加法樹兩部分構成，乘法器的作用是執行運算中的坐標值與像素相乘，流水線加法樹的作用是提高運算速度以及減少運算單元占用的硬件資源，該加法數設計為4段流水線結構，第一段為6個2輸入的8位乘法器和2個2輸入的8位加法器以及2個延遲單元;第二段為2個2輸入的15位加法器和2個2輸入的9位加法器以及2個延遲單元;第三段為2個2輸入的16位加法器和2個延遲單元;第四段為2個除法器，作用是將運算的像素與像素坐標值的乘積累加后除以運算的像素的累加值，輸出的結果即為中心點 的坐標值。運算如圖3和圖4所示。 3 FPGA實現的結果 本文FPGA采用的是Altera公司Cyclone III系列的EP3C40F484C6芯片，并在Altera公司的QUARTUS II 軟件平臺上，利用硬件描述語言Verilog HDL 表達實現。對于一幅大小為576行、720列的結構光條紋圖像，以每秒25幀的速率到達時，利用配置為2.53GHz Intel CPU 、3GB內存的通用微型計算機通過軟件編程的方式實現對一幀大小為576行、720列的圖像進行提取激光中心線操作，耗時71.5 毫秒。而利用以上專用硬件實現的算法經過仿真的系統最高頻率達到100MHz ，高出了系統像素點時鐘頻率(50MHz )，處理同樣的一幀圖像需耗時4.1毫秒，速度提高將近20倍，且FPGA邏輯資源占用16% 。足以在視頻圖像輸入的同時完成計算，達到了設計目的。并將系統的采集圖片與處理后的圖片進行比較，處理結果圖6圖7所示。圖6a、7a為采集圖像，圖6b、7b為MATLAB處理結果，圖6c、7c為EP3C40F484C6處理結果。 實驗結果顯示可以看出：在精度上FPGA相比PC端稍好，體現在線條的細節表現及線條提取的平滑度上。而且在運行速度上，FPGA提取速度明顯優于PC機提取的速度。但是不足的是由于模板所取的寬度較小，所以對于一些光帶寬度較大，光強橫向分布不均勻的圖像，正如圖7所示，則該方法提取的圖形精度不高，圖像較為不平滑。這些也將是下一步需要研究的內容。 4 結束語 精度和速度是大數據量背景下中心線提取方法的核心指標，本文利用FPGA硬件電路的并行體系結構，將以FPGA為核心的實時處理系統應用結構光三維測量系統當中，以硬件形式實現圖像光帶中心線提取的算法，經過實驗表明，對于這些寬度不大且分布均勻的結構光，該方法對中心線提取精確、快速。滿足結構光三維測量的要求。 參考文獻： [1]Song Zhang,Peisen S Huang.High-resolution real-time three-dimensional shape measurement[J].Optical Engineering,2006,12(45):1-8 [2]Erik Naesset, Ross Nelson.Using airborne laser scanning to monitor tree migrationin the boreal-alpine transition zone[J].Remote Sensing of Environment,2007,110(3):357-369 [3]李瑩瑩，張志毅，袁林.線結構光光條中心提取綜述[J].中國激光雜志社，2013,50 [4]于起峰,陸宏偉,劉肖琳. 基于圖像的精密測量與運動測量[M]. 北京: 科學出版社, 2002 [5]胡斌，李德華，金剛等。基于方向模板的結構光條紋中心檢測方法[J]。計算機工程與應用，2002,38(11):59-60 [6]江 潔，鄧玨瓊，張廣軍。光條紋中心的實時快速提取[J]. 光學技術，2008 ，34(2):170-174 [7]張廣軍. 機器視覺[M]. 北京: 科學出版社, 2005 [8]姚文達, 田慶國, 陳興梧. 三維掃描圖像光帶中心線提取的FPGA實現[J]. 天津工業大學學報, 2010, 29:50-52 [9]錢錚鐵, 李德華. 基于FPGA的激光條紋中心實時檢測[J]. 計算機工程與應用, 2004, 40(27):49-52 [10]張杰. 基于FPGA的數字圖像處理[D]. 武漢科技大學, 2009 |
