今天給大俠帶來基于FPGA的單目內(nèi)窺鏡定位系統(tǒng)設計，由于篇幅較長，分三篇。今天帶來第一篇，上篇，話不多說，上貨。

隨著現(xiàn)科技的發(fā)展和社會的進步，信息科技迅速發(fā)展，我們可從互聯(lián)網(wǎng)、電臺等媒體獲取大量信息。現(xiàn)代信息的存儲、處理和傳輸變得越來越數(shù)字化。在人們的日常生活中，常用的計算機、電視、音響系統(tǒng)、視頻記錄設備、遠程通訊電子設備無一不采用電子系統(tǒng)、數(shù)字電路系統(tǒng)。因此，數(shù)字技術(shù)的應用越來越廣泛。尤其在通信系統(tǒng)和視頻系統(tǒng)中，數(shù)字系統(tǒng)尤為突出。而隨著FPGA的出世，數(shù)字系統(tǒng)更加受到人們青睞，它為數(shù)字系統(tǒng)的設計提供更加便捷的通道，使得數(shù)字系統(tǒng)設計可以芯片小型化，電路規(guī)模大型化，龐大的邏輯資源，可滿足各種數(shù)字系統(tǒng)設計。

隨著社會的發(fā)展，科學技術(shù)已經(jīng)應用于各個領(lǐng)域，尤其是醫(yī)療領(lǐng)域尤為突出。而在醫(yī)療領(lǐng)域中，心臟電信號模擬器手術(shù)輔助儀器發(fā)展迅速。為了訓練經(jīng)驗少的醫(yī)生熟悉心臟手術(shù)的操作過程，而專門開發(fā)心臟信號模擬儀器，讓醫(yī)生迅速掌握心臟手術(shù)操作過程，成為一個經(jīng)驗豐富心臟手術(shù)醫(yī)生。

因此，本文將于FPGA平臺，以圖像處理結(jié)合信號采集原理，實現(xiàn)醫(yī)生在做心臟模擬手術(shù)操作導管的過程中，不需要觀察心臟內(nèi)部情況，即可獲取導管頭在心臟內(nèi)部信息的功能，采用內(nèi)窺鏡攝像頭采集視頻和并對導管頭進行跟蹤定位，信號采集技術(shù)可將采集到的導管頭在心臟內(nèi)部觸碰區(qū)域的信號采集出來送到專業(yè)醫(yī)用儀器，進行心臟3D建模。

本設計的實現(xiàn)對醫(yī)院培養(yǎng)的經(jīng)驗少的醫(yī)生盡快掌握心臟手術(shù)操作流程很有價值，未來將可以培養(yǎng)更多從事心臟手術(shù)工作的醫(yī)學專業(yè)畢業(yè)的學生或剛剛從事這個行業(yè)的社會醫(yī)生。

第一篇內(nèi)容摘要：本篇會介紹緒論，包括國際醫(yī)療器械發(fā)展趨勢和現(xiàn)狀概述、FPGA發(fā)展現(xiàn)狀、FPGA 在醫(yī)療領(lǐng)域中的應用，還會有 FPGA 相關(guān)介紹，包括FPGA工作原理和FPGA設計流程等相關(guān)內(nèi)容。還會介紹系統(tǒng)的設計，包括設計任務、方案論證、關(guān)鍵問題、解決關(guān)鍵問題的方法、總體設計（電源模塊、采集模塊、緩沖模塊、顯示模塊）等相關(guān)內(nèi)容。

一、緒論

1.1 國際醫(yī)療器械發(fā)展趨勢和現(xiàn)狀概述

在醫(yī)療器械領(lǐng)域，有助于醫(yī)療器械的發(fā)展，恢復心臟的功能。它也是最富有成果的領(lǐng)域之一。心血管疾病的治療手段是醫(yī)療器械行業(yè)中最重要的產(chǎn)品，無論是在治療效果方面還是其帶動的利益方面，都是一樣。心臟輔助裝置，無論是在體內(nèi)還是在體外，電子亦或機械，都變得越來越小，更容易植入。這些設備延長了患者的生命，心血管疾病。在醫(yī)療領(lǐng)域中，心臟電生理領(lǐng)域發(fā)展迅速。

心臟電生理領(lǐng)域，是以作用于生物體的電作用和生物體所發(fā)生的電現(xiàn)象為主要對象的生理學的一個分支領(lǐng)域。因為把隨著神經(jīng)等器官、組織的興奮所產(chǎn)生的動作電位作為其活動指標是最容易記錄的現(xiàn)象，所以常常用記錄動作電位來深入研究神經(jīng)系統(tǒng)等的機能。近代電生理學的發(fā)展多借助于細胞內(nèi)電極和電子管、晶體管等放大技術(shù)的發(fā)展。由于熟練外科醫(yī)生的數(shù)量較少，當前心臟病患者有機會得到手術(shù)治療的幾率只有6%，其中很大一部分患者在等待的過程中貽誤時機而去世，絕大部分患者則在高危中帶病生存。為解除病患的疾苦，在短時間內(nèi)培養(yǎng)足量的外科手術(shù)醫(yī)生就顯得尤為重要。而當前緊張的醫(yī)患關(guān)系，加之心臟手術(shù)自身的復雜性與危險性，使得實習醫(yī)生通過在真實病患身上做手術(shù)從而獲得經(jīng)驗的代價太過高昂，從而客觀上使得他們成為熟練外科醫(yī)生的經(jīng)驗積累期非常漫長，這與實際的需求明顯相悖。因此著重于發(fā)展心臟電生理領(lǐng)域等醫(yī)療輔助手段。而這種醫(yī)療設備發(fā)展離不開圖像處理技術(shù)。

1.2 FPGA發(fā)展現(xiàn)狀

FPGA也叫做現(xiàn)場可編程門陣列，目前在通訊領(lǐng)域中發(fā)展迅速，各種通訊算法使用FPGA加速，可節(jié)約成本和資源，提高通訊質(zhì)量和穩(wěn)定性。隨著信息科技的發(fā)展發(fā)展，嵌入式系統(tǒng)設計技術(shù)已成為當今信息產(chǎn)業(yè)非常流行的技術(shù)、應用市場在航空航天、醫(yī)療、通信、網(wǎng)絡通信、安全、廣播、汽車電子、工業(yè)、消費市場、測試和測量等領(lǐng)域。隨著技術(shù)的進步和發(fā)展，向越來越多的應用領(lǐng)域擴展。越來越多的設計已經(jīng)開始從ASIC轉(zhuǎn)向FPGA，F(xiàn)PGA在以各種電子產(chǎn)品的形式進入了我們?nèi)粘Ｉ钪小?/p>

1.3 FPGA在醫(yī)療領(lǐng)域中的應用

圖像處理應用于各大領(lǐng)域中，尤其是在醫(yī)療儀器領(lǐng)域中尤為重要，在醫(yī)療領(lǐng)域中的對心電圖的處理，內(nèi)窺鏡采集圖形處理，隨著電子科技的迅速的發(fā)展，F(xiàn)PGA逐漸在圖像處理領(lǐng)域發(fā)揮著越來越重要的作用，其并行處理機制加快算法的實時處理，各種算法的實現(xiàn)基本上是流水算法，更加快了整個系統(tǒng)的實時處理速度，實時幀速保證在每秒25幀以上，甚至可達到每秒60幀左右的幀速。另外，F(xiàn)PGA不僅可以應用于圖像處理，在通信領(lǐng)域也很強大，早期，F(xiàn)PGA最先應用于通信領(lǐng)域，基帶編碼、調(diào)制解調(diào)等算法實現(xiàn)，隨著FPGA的進一步發(fā)展，逐漸應用于圖像領(lǐng)域，醫(yī)療儀器的發(fā)展離不開圖像技術(shù)和通信技術(shù)。因此，F(xiàn)PGA將在醫(yī)療領(lǐng)域?qū)l(fā)揮著越來越重要的作用。

本設計是對心臟手術(shù)模擬器所用的導管頭進行定位，旨在抓取導管頭的坐標并顯示供醫(yī)生觀察，方便醫(yī)生觀察心臟手術(shù)內(nèi)部的情況，還有導管頭所處的位置信息。而且在此基礎上可擴展為多目攝像頭，根據(jù)采集到的位置信息自動切換場景，定位導管頭的空間坐標。

二、FPGA相關(guān)介紹

2.1 FPGA工作原理

基于FPGA特殊的電路結(jié)構(gòu)，F(xiàn)PGA能實現(xiàn)電路可編程主要體現(xiàn)在以下三個方面：

a. 可編程邏輯塊

b. 可編程IO

c. 可編程布局布線

其基本結(jié)構(gòu)由某種存儲器（SRAM、 FLASH等）制成的4輸入或6輸入1輸出的“真值表”加上一個D觸發(fā)器構(gòu)成。任何一個4輸入1輸出組合邏輯電路，都有一張對應的“真值表”，同樣的如果用這么一個存儲器制成的4輸入1輸出的“真值表”，只需要修改其“真值表”內(nèi)部值就可以等效出任意4輸入1輸出的組合邏輯。這些“真值表”內(nèi)部值是什么？就是那些01編碼而已。如果要實現(xiàn)時序邏輯電路怎么辦？這不有D觸發(fā)器嘛，任何的時序邏輯都可以轉(zhuǎn)換為組合邏輯+D觸發(fā)器來完成。但這畢竟只實現(xiàn)了4輸入1輸出的邏輯電路而已，通常邏輯電路的規(guī)模那是相當?shù)拇笈?。那怎么辦呢？這個時候就需要用到可編程連線了。在這些連線上有很多用存儲器控制的鏈接點，通過改寫對應存儲器的值就可以確定哪些線是連上的而哪些線是斷開的。這就可以把很多可編程邏輯單元組合起來形成大型的邏輯電路。最后就是可編程的IO，這其實是FPGA作為芯片級使用必須要注意的。任何芯片都必然有輸入引腳和輸出引腳。有可編程的IO可以任意的定義某個非專用引腳（FPGA中有專門的非用戶可使用的測試、下載用引腳）為輸入還是輸出，還可以對IO的電平標準進行設置。

2.2 FPGA設計流程

下面將介紹一些常用的FPGA開發(fā)工具、仿真工具以及綜合工具。

a. 設計輸入工具

目前設計輸入工具有原理圖輸入、硬件描述語言輸入、IP核輸入等，其中原理圖輸入比較直觀，但是不夠靈活，不適合大型系統(tǒng)設計，因此硬件描述語言輸入彌補了這一缺點。

b. 綜合工具

目前有三種主流的綜合工具，分別是Synopsys公司的Synplify/Synplify Pro、Leonardo Spectrum以及Xilinx自身的XST等。當然，Altera公司的Quartus II中擁有自帶的綜合工具。

Synplify/Synplify Pro由于其先進的時序驅(qū)動和行為最好算法引擎，具有占地面積小、合成速度快，大型集成工具的優(yōu)點，使其得到了廣泛使用。邏輯的合成主要是將硬件描述語言轉(zhuǎn)換為電路且優(yōu)化。

c. 仿真工具

目前最為人所熟悉和使用的仿真工具是ModelSim。仿真速度快、仿真精度高是ModelSim的主要特點。此外，還有一些頗具影響力的仿真工具，例如Cadence Verilog-XL和Synopsys VCS。ActiveHDL也是一款很有特色的仿真工具，它可以利用狀態(tài)機分析視圖進行狀態(tài)機調(diào)試。

d. 布局布線工具

實現(xiàn)工具綜合后的開發(fā)環(huán)境主要是ISE、Quartus II自己的映射和布局布線。

一般會有靜態(tài)時序分析，主要報告關(guān)鍵路徑和最大時鐘頻率。配置下載主要是基于不同的工具來生成一個流文件，并下載到FPGA中。

關(guān)于FPGA的設計流程主要有以下幾個方面分別是功能定義/設備選型、設計輸入、功能仿真、綜合優(yōu)化、綜合后仿真、實現(xiàn)、布局布線后仿真、板級仿真和芯片的編程與調(diào)試步驟，如圖2.1所示。

圖2.1 FPGA設計基本流程圖

三、系統(tǒng)設計

3.1 設計任務

本文設計是在攝像頭的視覺中，可抓取到運動物體的位置，根據(jù)醫(yī)學設備導管的特點，導管整根導管從顯示屏邊緣進入到攝像頭視覺中，不論從那個方向進入，本文旨在抓取導管頭端的位置，其他部分不需要。本設計基于FPGA實現(xiàn)，邏輯宏單元不能高于80%。

3.2 方案論證

備選方案：

方案一：基于顏色的攝像頭定位系統(tǒng)設計

方案二：基于幀差法的攝像頭定位系統(tǒng)設計

方案三：基于背景差法的攝像頭定位系統(tǒng)設計

論證方案：

方案一：基于顏色抓取導管頭，是抓取特定的顏色分量或者是某個范圍內(nèi)的顏色空間來分割前景和背景，此方法需要在導管頭上涂上特定的顏色，攝像頭通過識別顏色來獲取導管頭的位置，此方案需要外部處理導管頭，而且對背景要求比較高，故而舍去此方案。

方案二：幀間差分法是一系列連續(xù)的圖像中，相鄰的兩幀圖像做差分來確定目標輪廓的算法。對于目標處于復雜背景下也可很好的提取出目標輪廓的一種算法。具體做法是當視頻場景中出現(xiàn)動態(tài)物體時，相鄰兩幀圖像相減，然后去相減結(jié)果的絕對值，最后在二值化處理，即可得到運動圖像的輪廓。如果場景中沒有運動的物體處理結(jié)果中沒有任何目標輪廓。這種方法類似于高通濾波器，高頻動態(tài)部分突顯，低頻抑制，獲取目標輪廓。但是也是由于這種方法對高頻噪聲比較敏感，所以在處理之前一般要去噪聲處理。

幀間差分法的優(yōu)點是由于幀間差分法是針對于運動物體變化來獲取輪廓的，所以光線，背景等環(huán)境對這種算法的影響不大，處理結(jié)果比較穩(wěn)定。缺點是由于幀間差分法是每隔一段時間將相鄰兩幀的結(jié)果幀差，兩幀之間的時間的選擇對結(jié)果的影響較大，在不同的應用場合中選擇不同時間間隔，如果時間間隔較小而運動物體比較快，會導致形成兩個目標物體，因為兩個目標沒有重復的部分。如果時間間隔較大而運動物體較慢，會導致檢測不到目標物體，因為相鄰兩幀圖像幾乎沒有重疊。

基于幀差法抓取導管頭，通過導管頭的動態(tài)變化來獲取導管頭的位置，此方案無需對導管頭進行處理，而且對背景復雜度要求較低。然而，獲取的目標二值圖像主要體現(xiàn)邊緣，中間空缺，需要做幀緩沖，在基于FPGA實現(xiàn)上，實現(xiàn)難度也略大。

方案三：背景差分法是非常經(jīng)典且實用簡單的算法，原理非常簡單，就是處理帶有目標的圖像之前，預先存儲一張未帶有目標的圖像，即背景圖像，將其存儲起來，等到實時處理時，將實時圖像與背景圖像相減，即可得到目標圖像的輪廓。但是這種方法有一個致命的缺點，即當背景發(fā)生變化時，實時圖像與背景圖像相減的結(jié)果就不一定是目標輪廓了，因此這種算法會受到背景環(huán)境變化的影響，導致誤判目標。要解決環(huán)境變化的影響，需要對背景的存儲實時更新，即要實現(xiàn)背景更新算法，背景更新算法有很多，而且需要做多幀圖像的緩沖，常用的背景更新算法有均值法、中值法、卡爾曼濾波法、高斯濾波法等。

基于背景差法抓取導管頭，通過抓取的實時圖像減去背景圖像從而獲得目標圖像導管頭的位置，此方案也不需要外部處理導管頭，而且對背景復雜度要求較低，獲取的目標二值圖像飽和。然而，由于環(huán)境的可變性，導致結(jié)果定位不準確。因此，需要對背景圖像實時更新。此方法的最大的難點就是在基于FPGA硬件算法上，背景更新算法實現(xiàn)難度比較大，背景更新算法的不同效果也有差異，根據(jù)實現(xiàn)的環(huán)境和難度，均值法、中值法、卡爾曼濾波法等算法相對適合FPGA實現(xiàn)。

根據(jù)上述方案的論證，總結(jié)出表一方案特點。

表3.1 方案特點

論證結(jié)果：綜合上述三種方案的論證，結(jié)合方案在本設計實現(xiàn)特點和難易度，選擇方案二來實現(xiàn)本次設計。

3.3 關(guān)鍵問題

1. 圖像幀緩沖問題；

2. 圖像預處理；

3. 幀差處理問題；

4. 乒乓操作問題；

5. 格式轉(zhuǎn)換問題；

6. 二值圖像投影問題；

7. 判斷正確的目標坐標問題。

3.4 解決關(guān)鍵問題的方法

圖像幀緩沖：關(guān)于本方案的設計，圖像的幀緩沖是技術(shù)重點也是技術(shù)難點，本方案需要至少三個端口同時訪問sdram，第一個是camera寫入到sdram 不同兩個的存儲區(qū)，第二個和第三個是將兩個存儲區(qū)的數(shù)據(jù)同時輸出，所以為了達到這一點要求需要做sdram雙緩沖，sdram寫一端接了兩個fifo，讀一端接了兩個fifo，這樣就可以滿足上面的方案需求。

圖像預處理：圖像預處理是通過形態(tài)學算法處理的，有腐蝕算法和膨脹算法，其中腐蝕算法可去除孤立噪點，而膨脹算法可擴充目標像素點數(shù)。

幀差處理：幀差就是兩幀圖像相減得到的值，到底是前一幀減去后一幀還是后一幀減去前一幀，理論上來說都可以，這本項目中，我使用兩幀相減的絕對值來輸出，所以，不管是誰減誰都無所謂了。

乒乓操作：乒乓操作問題是很多通信、圖像項目中都會用到的技術(shù)手法，原理就是寫操作是當采集到的第一幀圖像來到時，將這幀圖像存儲到第一個緩沖區(qū)中，當?shù)诙瑘D像來到時，將這幀圖像存儲到第二個緩沖區(qū)中；當?shù)谌龓瑘D像來到時，將這幀圖像存儲到第一個緩沖區(qū)中，當?shù)谒膸瑘D像來到時，將這幀圖像存儲到第二個緩沖區(qū)中，...，以此類推；讀操作同理。關(guān)于緩沖區(qū)的切換是一個易錯的問題，如果使用采集模塊或輸出模塊的完成信號來切換緩沖區(qū)，會造成數(shù)據(jù)堆積在fifo中被復位信號清除，導致部分數(shù)據(jù)丟失。所以我采用sdram內(nèi)部發(fā)出完成信號來作為乒乓操作緩沖區(qū)的切換信號。

格式轉(zhuǎn)換：在格式轉(zhuǎn)換中，需要把YUV422轉(zhuǎn)成YUV444，再把YUV444轉(zhuǎn)成RGB888，最后把RGB888轉(zhuǎn)成RGB565，其中YUV444轉(zhuǎn)成RGB888采用查找表的方式。

二值圖像投影：二值圖像投影分為水平方向投影和垂直方向投影，水平方向投影就是把x軸方向各個地址對應的數(shù)據(jù)加在一塊，垂直方向投影就是把y軸方向各個地址對應的數(shù)據(jù)加在一塊。最終存儲起來就得到二值圖像的投影。

判斷正確的目標坐標：投影的結(jié)果可以算出四條邊界線，可確定目標所在區(qū)域范圍。通過邊界線可得到具體的端點坐標，示意圖如圖3.1所示。示意圖圖3.2為圖3.1可放大區(qū)的放大圖像，通過橫軸的邊界線可以獲取到端點5和端點6，然后計算出他們的中心端點7，接著用右邊界線減去端點7的縱坐標得到的結(jié)果和用端點7的縱坐標減去左邊界線的結(jié)果相比較，可確定導管頭擺放的方向，然后判斷處在邊界上的點為非目標點，未處在邊界上的點為目標點，最后將目標點輸出，即為導管頭端坐標。

圖3.1 二值投影示意圖

圖3.2二值投影放大示意圖

3.5 總體設計

系統(tǒng)設計旨在完成導管頭在視頻中的二維坐標定位，按照模塊分類可分為以下幾大模塊，采集模塊、緩沖模塊、處理模塊、解碼模塊、顯示模塊等幾大模塊組成具體如圖3.3所示。

圖3.3系統(tǒng)整體框圖

3.5.1 電源模塊

FPGA系統(tǒng)因為有著低功耗和高性能等特點，其設計應用于各大領(lǐng)域中。而其系統(tǒng)級的供電問題對于電源的有效管理也是非常重要的。

在本系統(tǒng)中，各路模塊需要供電電壓，如VCC（5V）、3.3V、2.8V、2.5V、1.2V，這些電壓將采用AMS1117芯片產(chǎn)生。AMS1117是一個正向低壓降穩(wěn)壓器，AMS1117有兩種：一種為固定輸出電壓，輸出電壓值有：1.2V、1.5V、1.8V、2.5V、2.8V、3.0V、3.3V；另一種為可調(diào)輸出電壓。對于AMS1117廠家做了保護系統(tǒng)，防止過熱和過流。接一個22uF的電容，使AMS1117更加穩(wěn)定。

3.5.2 采集模塊

本設計將采用攝像頭傳感器來作為采集模塊，攝像頭主要分為數(shù)字攝像頭和模擬攝像頭，也就是市場經(jīng)常用到的CMOS和CCD攝像頭。模擬攝像頭也就三根線，RGB，通過AD轉(zhuǎn)換為數(shù)字信號，終端接受信號，解碼，便能得到視頻圖像。所有CCD芯片都屬于模擬的設備。當圖像進入計算機是數(shù)字的。如果信號在攝像頭、采集卡兩部分完成數(shù)字化的，這個是模擬攝像頭。數(shù)字攝像頭事實上是由內(nèi)置于攝像頭的數(shù)字化設備完成數(shù)字化過程，這樣可以減少圖像噪音。數(shù)字攝像頭比模擬攝像頭信噪比更高，而且更增加攝像頭的動態(tài)區(qū)間、最大化圖像灰度區(qū)間。

基于開發(fā)難度我選擇使用OV7670 CMOS攝像頭，如圖3.4所示，在接口方面大致相同，主要有以下這些：

1) 都有配置寄存器來設置傳感器功能參數(shù)，其使用SCCB總線和IIC總線協(xié)議；

2) 都有XCLK，PCLK，F(xiàn)RAME_VALID，LINE_VALID，DOUT[7..0]信號，主要是Sensor驅(qū)動時鐘的輸入以及采樣時鐘，幀有效信號，行有效信號，圖像數(shù)據(jù)的輸出。為了兼容，攝像頭的輸出都設置了8位，PCLK是像素時鐘的2倍。

3) 另外還有STROBE，STABDBY，或者PWDN，閃燈，以及Sensor的開關(guān)，等功能，不同的攝像頭可能功能有所不同。

3.5.3 緩沖模塊

SDRAM芯片設計具有價格低廉，緩沖速度快等特點，因此作為本設計首先存儲器芯片，Synchronous Dynamic Random Access Memory，同步動態(tài)隨機存儲器，同步是指 Memory工作需要同步時鐘，內(nèi)部的命令的發(fā)送與數(shù)據(jù)的傳輸都以它為基準；動態(tài)是指存儲陣列需要不斷的刷新來保證數(shù)據(jù)不丟失；隨機是指數(shù)據(jù)不是線性依次存儲，而是自由指定地址進行數(shù)據(jù)讀寫。

本設計選用hynix公司生產(chǎn)的型號為H57V2562GTR 256M (16Mx16bit) Hynix SDRAM Memory 可穩(wěn)定運行到200MHz時鐘，4個bank，13位地址寬度，數(shù)據(jù)寬度為16位，可存儲YCbCr（4:2:2）數(shù)據(jù)流，工作在視頻采集環(huán)境下，可設置為頁寫突發(fā)，配合突發(fā)中斷，構(gòu)成任意突發(fā)長度讀寫，增加緩沖速度，應用于視頻實時處理。

3.5.4 顯示模塊

本設計選擇使用VGA接口作為顯示設備如圖3.5所示，其通用性比較高，目前各種計算機設備均使用這種接口，VGA是社會上一種比較通用視頻傳輸標準，其分辨率很高、輸出頻率迅速、色彩豐富多樣等諸多好處，在市場上大量應用。不支持熱插拔，不支持音頻傳輸。

本篇到此結(jié)束，下一篇帶來基于FPGA的單目內(nèi)窺鏡定位系統(tǒng)設計（中），介紹硬件設計，包括電源電路、FPGA外圍電路、采集電路、緩沖電路、顯示電路等相關(guān)內(nèi)容，以及介紹軟件設計，包括采集模塊、緩沖模塊、處理模塊、解碼模塊、顯示模塊等相關(guān)內(nèi)容。