訪談背景:在工業制造領域,機器視覺主要面向半導體及電子制造、汽車制造、食品與包裝、生物制藥等行業,實現缺陷檢測、尺寸測量、模式識別、導航定位等功能,從而大幅度提高產品質量和生產效率,并確保工業現場環境的安全性。3D機器視覺的出現不僅有效解決了傳統2D時代的復雜物體識別和深度測量難題,還能實現更加復雜的人機交互功能,成為提升產業自動化和智能化水平的重要推手。
當前,3D機器視覺技術主要包括雙目視覺法、結構光法和激光三角法等。今天,我們將為大家帶來一種全新的3D視覺技術——光場成像法。成立于2019年的奕目(上海)科技有限公司(以下簡稱:“奕目科技”)已成為全球極少數全面掌握光場采集芯片光學設計、制造、封測、光場圖像三維渲染和三維精密快速檢測全部核心技術的光場3D成像科技先驅,光場3D測量精度和效率處于國際領先水平。今年9月16日,奕目科技也將在『第三十一屆“微言大義”研討會:3D視覺技術及應用』上發表主題演講,為了提前了解3D光場相機技術及應用,麥姆斯咨詢特意采訪了奕目科技總經理、聯合創始人李浩天。
奕目科技總經理、聯合創始人李浩天
麥姆斯咨詢:感謝您接受麥姆斯咨詢的采訪。奕目科技是一家非常年輕的公司,但已經取得了不俗的成績。請您向大家介紹下公司的發展歷程,謝謝!
李浩天:奕目科技成立于2019年7月,雖然非常年輕,但是我在上海交通大學求學期間就已經積極開展了前期的技術攻關和積累,并在交大資深科研團隊的全力協助下,一步一個腳印將光場相機這種全新的三維成像技術應用于工業檢測。2015年第一套科研級光場三維成像系統研發成功,次年光場成像技術在三維流動測試領域中實現了微米級測量精度,2018年采集芯片封裝和測試設備自主研發成功,2019年全部核心部件實現國產化,2020年工業級顯微光場相機研發成功,并獲央視報道,2021年光場相機在MEMS硅芯片產線檢測上實現大規模應用,這也是全球首例。
奕目科技誕生于“零號灣“全球創新創業集聚區,背靠上海交通大學,與新加坡南洋理工大學的深度合作,快速實現技術更新與產品迭代;同時“零號灣“也在”政策支持、融資服務、法律咨詢“等多個方面給團隊源源不斷地輸送”養分“。年輕的奕目科技已成為全球第二家、國內獨家全面掌握工業級光場相機在光學設計、仿真、微納加工、封裝測試、三維精密快速檢測和光場圖像三維渲染等各個領域全部核心技術的高科技公司。
通過與上下游領先企業長光辰芯(Gpixel)和華興源創(688001.SH)的深度合作,奕目科技的光場三維檢測系統已經成功應用于多種工業檢測領域:半導體鍵合金線三維檢測、屏幕缺陷三維分層檢測、偏振片模組缺陷三維分層檢測、光柵片模組三維分層檢測、新能源汽車電池模組三維缺陷檢測。
奕目科技成長軌跡
麥姆斯咨詢:談及3D視覺技術,耳熟能詳的技術應該是雙目視覺法、結構光法和激光三角法(線激光)。而對于光場成像法,大家可能還不夠了解。您能先為大家做一下科普嗎?
李浩天:許多昆蟲比如蜻蜓都具有一種我們稱之為“復眼”的視覺器官。單顆復眼有上萬個獨立感光的小眼,這些小眼呈六邊形密集排布,為昆蟲提供了良好的視野和強大的三維感知能力。受到昆蟲復眼的啟發,科學家們提出了利用由許多微小透鏡組成的陣列去模擬昆蟲復眼的成像方式。這種獨特的成像方式不僅可以記錄物體的顏色信息,還能精確捕獲光線的三維軌跡,通過單次拍攝,就能將空間中的多維光場信息完整地記錄下來,因此被稱作“光場相機”。進一步通過光機電耦合的光場三維渲染算法,光場相機能夠以極快的速度還原所拍攝的三維場景,實現實時的三維重建和三維測量。
奕目科技推出的基于復眼仿生的光場相機
麥姆斯咨詢:奕目科技的3D光場視覺技術主要面向工業檢測應用,相比結構光、線激光等,貴司技術有何優勢?
李浩天:機器視覺現有成熟的三維檢測方案主要是結構光和線激光。
結構光檢測系統由投影儀和普通工業相機組成,通過投射特定的編碼圖案,利用采集到的物體表面紋理來計算三維信息。線激光系統由激光發射器和普通工業相機組成,根據激光三角法來測量物體的三維尺寸。這兩種技術已經非常成熟,測量精度和效率都較高。無論是結構光投影模塊、激光發射器還是工業相機,都已經有多種成熟產品可供選擇,加之其核心算法均已開源,降低了結構光和線激光檢測系統的準入門檻,推進了這兩種技術在工業檢測領域的應用。
無論是結構光還是線激光,都需要主動投射特定光源,且結構光投影儀和相機或者激光發射器和相機均需嚴格按一定夾角布置,測量復雜物體時容易產生遮擋現象;同時主動投射的結構光源或線激光很難在透明介質上成像,難以檢測透明介質的內部缺陷。相比之下,光場相機對透明和高反光材料的三維測量/檢測具有獨特優勢,僅需環境光源,單相機單次拍攝,即可完成三維測量/檢測,同時也不存在遮擋的問題。
光場相機與結構光相機、線激光相機的區別
麥姆斯咨詢:奕目科技掌握了3D光場相機的哪些核心技術?其中,哪項核心技術的行業壁壘最高?另外,你們在知識產權方面做了哪些布局?
李浩天:光場相機涵蓋了微納光學設計、仿真、制造、檢測、芯片級封裝、測試、快速高精度計算成像等多種關鍵技術,每項單項核心技術都具有相當高的行業壁壘。而如何將光學設計、微納制造、封測與光場算法有機融合為一個整體,實現工業產線對高速、高精度檢測的苛刻需求,則是難度最高的挑戰。奕目科技已經掌握了從光場相機設計、微納制造、封裝測試、光場三維精密快速檢測算法到產線大規模應用的全鏈條核心技術,達成了毫秒級測量速度、亞微米級測量精度的穩定工業應用。
奕目科技高度重視核心技術和知識產權的保護,不斷強化知識產權管理。公司內部所有技術文件均經過保密處理,有嚴格的審批解密管理流程。同時,公司及時對研發形成的硬件技術、核心算法和軟件申請專利權和著作權。通過技術保密和知識產權申請等手段相結合,對公司核心技術進行保護。截止目前,奕目科技正在申請和已授權的PCT專利、發明專利和軟件著作權達50余項。
麥姆斯咨詢:算法也決定著3D光場相機的最終成像質量。奕目科技在這方面有哪些“獨門秘籍”?
李浩天:奕目科技的光場算法根源于上海交大多年科研成果,同時不斷吸收產線應用經驗,通過多個工業檢測項目的反復打磨和優化迭代,形成了適用于工業產線檢測的高效、高精度、穩定可靠的三維光場算法。基于大量產線數據,融合深度學習,奕目科技的人工智能光場三維重建算法曾在全球權威的光場算法排行榜上排名第一,在準確性和計算效率等方面均為世界前列。不僅如此,奕目科技研發人員潛心下沉至產線前端,傾心聆聽客戶反饋,積極開發通用型光場工業檢測平臺,大幅提升了用戶交互性能和產品廣適性。
麥姆斯咨詢:奕目科技的3D光場相機已經用于MEMS麥克風的引線鍵合金線缺陷檢測,可以介紹一下該應用案例的情況嗎?半導體產業對檢測設備的精度要求相對較高,目前貴司的相機精度可達到多少?
李浩天:由于MEMS麥克風芯片體積小、結構緊湊、空間結構復雜,芯片上鍵合金線直徑小、形狀復雜、材料易反光,現有三維檢測設備無法滿足客戶需求。光場相機由于其被動式成像,可以同時采集多個視角的圖像,避免因結構復雜、特定角度反光造成的干擾。僅僅需要50ms~100ms即可獲得3D信息,因此特別適合MEMS的精度高、速度快的檢測需求。光場相機的另一個顯著優勢在于可以通過搭配不同的光學鏡頭來達到不同的精度。目前奕目科技工業級光場相機最高景深方向精度為2微米,重復精度0.5微米。
麥姆斯咨詢:據我們了解,奕目科技已經切入了國際3C巨頭產業鏈,用于無線藍牙耳機、手機攝像頭和手機屏幕的分層檢測。可以談談目前的進展情況嗎?
李浩天:我們的光場檢測系統已應用于某國際3C頭部企業TWS芯片產線上,解決了現有2D檢測平臺無法在線檢測芯片三維缺陷的難題。我們的光場工業檢測平臺軟件,可適配幾十種芯片的多個檢測項目,目前檢測UPH(每小時產能)達到10000多顆,景深精度最高可達6微米,平面精度最高可達1微米。該系統也將很快應用于另一國際3C頭部企業芯片產線。
針對顯示模組缺陷的三維光場分層檢測系統也已經在某頭部企業產線上運行,該視覺方案可以準確定位顯示屏模組的貼合臟污、貼合異物、氣泡等多種缺陷的三維位置。同時,該系統也可以適用于偏振片模組檢測,幫助客戶定位缺陷,提高出貨良率,追溯缺陷發生的環節,優化生產工藝,降低人力成本。
攝像頭模組三維缺陷檢測方案不僅可以檢測完整模組,還能用于檢測單層鏡片。對鏡片模組中的臟污、氣泡、白點、線傷、模印等缺陷和單層鏡片鍍膜上的破損、氣泡、臟污等缺陷進行識別并定位三維位置。
除此之外,奕目科技光場檢測系統也在CIS(CMOS圖像傳感器)保護玻璃缺陷檢測、手機CGS(連續粒狀結晶硅)模組檢測、新能源汽車電池三維缺陷檢測等領域獲得了良好的產線測試效果。
奕目科技3D光場相機半導體、顯示模組缺陷檢測示例
麥姆斯咨詢:貴司的3D光場相機對標哪些國內外企業?你們的優勢又體現在哪些方面?
李浩天:放眼全球,將光場技術應用于工業領域的企業還有德國Raytrix。相比于Raytrix光場相機而言,奕目科技光場相機采用完全不同的光場成像原理,本質上在景深方向的測量精度更高。除此以外,奕目科技掌握了光場相機全部“軟、硬”核心技術,且核心部件全部實現國產化。所以在整體系統價格、交付周期、技術快速支持和定制化服務等方面具有顯著優勢。
奕目科技工業級顯微光場成像系統
麥姆斯咨詢:新冠病毒疫情加快了工業自動化步伐,促進了視覺傳感器的應用,請您談談奕目科技的產品銷售進展情況吧。
李浩天:奕目光場檢測系統已經獲得韓國、新加坡、德國、中國臺灣及內地多個行業代表性客戶的認可,并成功應用于多種工業檢測領域,逐漸形成了多種典型的視覺解決方案(見下表)。同時將進一步拓展應用市場,通過直銷和代理銷售雙管齊下的方式,提高銷售收入,并力爭成為國際3D視覺方案領跑者。
麥姆斯咨詢:展望未來,3D光場相機還有哪些令人興奮的應用方向?
李浩天:光場相機因其獨特的光場特性,未來可以應用于很多方向。其中包括:
(1)與自動化檢測平臺結合,應用于常規工業領域的三維視覺檢測項目,比如MEMS芯片、顯示器件、攝像頭模組、新能源電池模組等;
(2)搭配高倍顯微物鏡的光場相機可用于生物醫療領域,特別是在細胞活體三維檢測方面具有獨特的優勢;
(3)光場相機還可以應用于虛擬現實領域,比如為光場真3D顯示、AR、VR提供三維圖像輸入;
(4)作為安防、車載的三維感知模塊。
麥姆斯咨詢:請談談奕目科技未來三年的發展規劃,謝謝!
李浩天:奕目科技未來三年發展主要聚焦在工業3D機器視覺領域。2021年度目標是實現光場技術在多個領域龍頭企業的產線批量應用;2022年微納加工中心成功建立并投產,在華東和華南建立多個銷售和技術支持中心,并且實現光場技術在多種工業場景的規模化應用;2023年逐步拓展光場技術在生物醫療、無人駕駛、安防、車載、VR等領域的應用。
麥姆斯咨詢:你們近期是否有融資計劃?如果有,可以闡明資金需求及用途嗎?
李浩天:公司近期將啟動A輪融資,本輪融資會在數千萬級別,資金主要用于關鍵技術的研發、市場鋪設、產能提高,以及團隊建設。截止目前正在與國內多家一線投資機構進行積極溝通,意向投資方均看好機器視覺行業未來廣闊的市場紅利。
麥姆斯咨詢:非常歡迎奕目科技在2021年9月16~17日舉辦的『第三十一屆“微言大義”研討會:3D視覺技術及應用』上發表演講,可以提前透露下你們想和觀眾分享的內容嗎?
李浩天:光場相機作為一種全新的三維成像技術未被大眾熟知。隨著技術的成熟,產品的迭代升級,光場成像技術已經可以在諸多工業場景中解決一些難點痛點。本次演講會聚焦于光場成像原理、奕目科技光場相機特點的介紹,以及成功應用場景的分享,尤其是芯片金線檢測及屏幕缺陷分層檢測這兩個領域的應用,希望可以幫助廣大工業機器視覺相關從業者及相關需求方拓寬視野,增加對光場的認知。