機器視覺的起源可追溯到20世紀60年代美國學者L.R.羅伯茲對多面體積木世界的圖像處理研究,70年代麻省理工學院(MIT)人工智能實驗室“機器視覺”課程的開設。到80年代,全球性機器視覺研究熱潮開始興起,出現了一些基于機器視覺的應用系統。90年代以后,隨著計算機和半導體技術的飛速發展,機器視覺的理論和應用得到進一步發展。
進入21世紀后,機器視覺技術的發展速度更快,已經大規模地應用于多個領域,如智能制造、智能交通、醫療衛生、安防監控等領域。目前,隨著人工智能浪潮的興起,機器視覺技術正處于不斷突破、走向成熟的新階段。
在中國,機器視覺的研究和應用開始于20世紀90年代。從跟蹤國外品牌產品起步,經過二十多年的努力,國內的機器視覺從無到有,從弱到強,不僅理論研究進展迅速,而且已經出現一些頗具競爭力的公司和產品。估計隨著國內對機器視覺研究、開發和推廣的不斷深入,趕上和超越世界水平已不是遙不可及的事情了。
常見機器視覺系統主要可分為兩類,一類是基于計算機的,如工控機或PC,另一類是更加緊湊的嵌入式設備。典型的基于工控機的機器視覺系統主要包括:光學系統,攝像機和工控機(包含圖像采集、圖像處理和分析、控制/通信)等單元,如圖所示。機器視覺系統對核心的圖像處理要求算法準確、快捷和穩定,同時還要求系統的實現成本低,升級換代方便。
機器視覺的圖像處理系統對現場的數字圖像信號按照具體的應用要求進行運算和分析,根據獲得的處理結果來控制現場設備的動作,其常見功能如下:
(1)圖像采集
圖像采集就是從工作現場獲取場景圖像的過程,是機器視覺的第一步,采集工具大多為CCD或CMOS照相機或攝像機。照相機采集的是單幅的圖像,攝像機可以采集連續的現場圖像。就一幅圖像而言,它實際上是三維場景在二維圖像平面上的投影,圖像中某一點的彩色(亮度和色度)是場景中對應點彩色的反映。這就是我們可以用采集圖像來替代真實場景的根本依據所在。
如果相機是模擬信號輸出,需要將模擬圖像信號數字化后送給計算機(包括嵌入式系統)處理。現在大部分相機都可直接輸出數字圖像信號,可以免除模數轉換這一步驟。不僅如此,現在相機的數字輸出接口也是標準化的,如USB、VGA、1394、HDMI、WiFi、Blue Tooth接口等,可以直接送入計算機進行處理,以免除在圖像輸出和計算機之間加接一塊圖像采集卡的麻煩。后續的圖像處理工作往往是由計算機或嵌入式系統以軟件的方式進行。
(2)圖像預處理
對于采集到的數字化的現場圖像,由于受到設備和環境因素的影響,往往會受到不同程度的干擾,如噪聲、幾何形變、彩色失調等,都會妨礙接下來的處理環節。為此,必須對采集圖像進行預處理。常見的預處理包括噪聲消除、幾何校正、直方圖均衡等處理。
通常使用時域或頻域濾波的方法來去除圖像中的噪聲;采用幾何變換的辦法來校正圖像的幾何失真;采用直方圖均衡、同態濾波等方法來減輕圖像的彩色偏離。總之,通過這一系列的圖像預處理技術,對采集圖像進行“加工”,為體機器視覺應用提供“更好”、“更有用”的圖像。
(3)圖像分割
圖像分割就是按照應用要求,把圖像分成各具特征的區域,從中提取出感興趣目標。在圖像中常見的特征有灰度、彩色、紋理、邊緣、角點等。例如,對汽車裝配流水線圖像進行分割,分成背景區域和工件區域,提供給后續處理單元對工件安裝部分的處理。
圖像分割多年來一直是圖像處理中的難題,至今已有種類繁多的分割算法,但是效果往往并不理想。近來,人們利用基于神經網絡的深度學習方法進行圖像分割,其性能勝過傳統算法。
(4)目標識別和分類
在制造或安防等行業,機器視覺都離不開對輸入圖像的目標進行識別和分類處理,以便在此基礎上完成后續的判斷和操作。識別和分類技術有很多相同的地方,常常在目標識別完成后,目標的類別也就明確了。近來的圖像識別技術正在跨越傳統方法,形成以神經網絡為主流的智能化圖像識別方法,如卷積神經網絡(CNN)、回歸神經網絡(RNN)等一類性能優越的方法。
(5)目標定位和測量
在智能制造中,最常見的工作就是對目標工件進行安裝,但是在安裝前往往需要先對目標進行定位,安裝后還需對目標進行測量。安裝和測量都需要保持較高的精度和速度,如毫米級精度(甚至更小),毫秒級速度。這種高精度、高速度的定位和測量,倚靠通常的機械或人工的方法是難以辦到的。在機器視覺中,采用圖像處理的辦法,對安裝現場圖像進行處理,按照目標和圖像之間的復雜映射關系進行處理,從而快速精準地完成定位和測量任務。
(6)目標檢測和跟蹤
圖像處理中的運動目標檢測和跟蹤,就是實時檢測攝像機捕獲的場景圖像中是否有運動目標,并預測它下一步的運動方向和趨勢,即跟蹤。并及時將這些運動數據提交給后續的分析和控制處理,形成相應的控制動作。圖像采集一般使用單個攝像機,如果需要也可以使用兩個攝像機,模仿人的雙目視覺而獲得場景的立體信息,這樣更加有利于目標檢測和跟蹤處理。
在機器視覺的智能圖像處理技術的發展中,還存在不少技術瓶頸,如:
(1)穩定性:某種處理方法往往在研究和開發中表現良好,但在復雜多變的應用環境中,卻不時地出現問題。例如人臉識別系統,在目標配合時識別率可高達95%以上,但在實際監控環境下,識別率就會大大下降。
(2)實時性:如果圖像的采集速度、處理速度較慢,再加上新近引入的深度學習類算法,加大了系統實時處理的難度,跟不上機器運行和控制的節奏。
(3)準確性:機器視覺系統要求圖像識別和測量的準確性接近100%,任何微小的誤差都有可能帶來不可預測的后果。例如目標定位的誤差會使裝配出來的設備不符合要求。
(4)系統能力:目前的嵌入式圖像處理系統,存在芯片的計算能力不足,存儲空間有限等問題,常常不能滿足運算量較大的圖像處理運算,如神經網絡的迭代運算,大規模矩陣運算等。
今后機器視覺中智能圖像處理的發展主要體現在以下幾個方面:
(1)算法:傳統算法繼續不斷有所突破,新一波人工智能浪潮帶來不少新的性能優良的圖像處理算法,如深度學習(DL),卷積神經網絡(CNN),生成對抗網絡(GAN),等等。
(2)實時性:出現更多結構新穎、資源充足、運算快速的硬件平臺支撐,例如基于多CPU、多GPU的并行處理結構的計算機,海量存儲單元等。
(3)嵌入式:新的高速的信號處理器陣列,超大規模FPGA芯片。
(4)融合處理:從單圖像傳感器發展到多傳感器(多視點)的融合處理,可更加充分地獲取現場信息。還可融合多類傳感器,如圖像傳感器、聲音傳感器、溫度傳感器等共同完對現場目標定位、識別和測量。
東莞樂視自動化科技有限公司高端實驗室內標配了全系列的光源種類和相機鏡頭種類,我們有優秀的視覺工程師,可以根據應用的不同,幫助客戶選型,并協助編寫視覺軟件。