寫在Lytro十年--雜談光場(chǎng)相機(jī)的不足、優(yōu)勢(shì)、應(yīng)用和展望（上）

Lytro 公司在2011年向市場(chǎng)推出了第一代光場(chǎng)相機(jī)，距今已經(jīng)過(guò)去了近十年。 這款號(hào)稱“一次拍攝，多次對(duì)焦" 的成像設(shè)備，在進(jìn)行首次商業(yè)發(fā)布之時(shí)，在攝影界、科技屆和媒體屆都引發(fā)了不小的轟動(dòng)。 相比于傳統(tǒng)的單反攝影相機(jī)，它主打的賣點(diǎn)是不需要繁瑣的對(duì)焦和尋找攝影角度，單次拍攝后即可得到不同焦深和角度的照片。 光場(chǎng)相機(jī)的發(fā)明者、同時(shí)也是Lytro的創(chuàng)始人Ren Ng的博士論文獲得了ACM Dissertation Award，而他本人也獲得了"MIT Tech Review's TR35" ,"Fast Company's 100  Most Creative People in Business" ,"Silicon Valley Journal's 40 under  40" 等一系列稱號(hào)。光場(chǎng)相機(jī)可謂一時(shí)風(fēng)光無(wú)限，在被譽(yù)為一項(xiàng)顛覆性的技術(shù)發(fā)明的同時(shí)，甚至有人視其為單反相機(jī)的歷史終結(jié)者。

然而十年過(guò)去了，負(fù)責(zé)研發(fā)、推廣這款產(chǎn)品的公司Lytro在2018年以宣布倒閉告終，公司的CEO、同樣也是這款相機(jī)的發(fā)明人Ren Ng選擇了重回學(xué)術(shù)界任職，成為UC Berkeley的一名教授。這款相機(jī)經(jīng)歷了嚴(yán)重的高開低走，就如同消失在了消費(fèi)者的視野一般。

盡管在To C端， 光場(chǎng)相機(jī)的表現(xiàn)可謂慘不忍睹，使用者的反饋也是惡評(píng)如潮，但是在To B端和學(xué)術(shù)界，光場(chǎng)相機(jī)依然延續(xù)著比較旺盛的生命力，不僅學(xué)術(shù)文章在陸續(xù)的被發(fā)表，拓展光場(chǎng)相機(jī)的應(yīng)用范圍，同時(shí)國(guó)內(nèi)外少數(shù)科技獨(dú)角獸也將該技術(shù)在某些應(yīng)用領(lǐng)域進(jìn)行落地(比如德國(guó)的Raytrix和國(guó)內(nèi)的上海奕目科技，他們可謂是光場(chǎng)成像在工業(yè)應(yīng)用領(lǐng)域的兩大領(lǐng)頭羊）

甚至有基于光場(chǎng)成像的技術(shù)發(fā)明獲得了國(guó)家重大科技進(jìn)步獎(jiǎng)項(xiàng)，世界最頂級(jí)學(xué)術(shù)期刊上也可以見到它的身影（比如清華深圳研究生院的戴瓊海課題組，在光場(chǎng)成像的生物醫(yī)學(xué)顯微應(yīng)用上，有著較大的影響）。
這種仿佛是一個(gè)技術(shù)，在經(jīng)歷著某種興衰變革，在技術(shù)史上不乏某種技術(shù)幾起幾落的興衰交替的現(xiàn)象，驅(qū)使著學(xué)界和業(yè)界的人們一哄而上、一哄而散，不斷參與或者離開某個(gè)技術(shù)領(lǐng)域。

就光場(chǎng)相機(jī)而言，本文試圖從純技術(shù)角度去回答一個(gè)對(duì)該現(xiàn)象反思式的問題： 光場(chǎng)相機(jī)的優(yōu)勢(shì)和劣勢(shì)在哪那里？什么原因使得它被消費(fèi)者拋棄的同時(shí)卻又在工業(yè)屆延續(xù)著自己的生命？ 落地應(yīng)用的現(xiàn)狀如何？  本文既是自問自答，也是拋磚引玉，希望各位從事本行業(yè)的看官，能多多發(fā)表自己的高見。

一、不足篇

欲揚(yáng)先抑，回顧該設(shè)備的不足，也是對(duì)光場(chǎng)相機(jī)在To B市場(chǎng)逐漸被拋棄的一個(gè)回顧和解釋。光場(chǎng)相機(jī)由于其本身的硬件構(gòu)造，無(wú)法避免的存在三大先天缺陷。
1. 空間分辨率低

光場(chǎng)相機(jī)結(jié)構(gòu)（源于《基于仿生視覺的單相機(jī)光場(chǎng)成像及3-3維直接轉(zhuǎn)換基礎(chǔ)》）

由于光場(chǎng)相機(jī)為了采集不同視角的信息，在CCD前放置了一個(gè)微透鏡陣列。但是相機(jī)可以采集的總信息量卻是受限于成像芯片上CCD像素的尺寸和數(shù)目，角度信息和空間信息的關(guān)系可以簡(jiǎn)單描述為：

兩者相互折中和制約，如同我在另一個(gè)回答所指出的，單個(gè)視角下的光場(chǎng)圖像的大小，等于微透鏡陣列中微透鏡的個(gè)數(shù)，由于單個(gè)微透鏡下的像素?cái)?shù)目介于100到200之間，因此微透鏡個(gè)數(shù)相當(dāng)于原始CCD像素?cái)?shù)目的100倍級(jí)別的壓縮，對(duì)于一個(gè)1000萬(wàn)像素的光場(chǎng)相機(jī)，經(jīng)過(guò)視角信息的折中壓縮后，得到的單視角有效像素?cái)?shù)目，居然只有十萬(wàn)像素量級(jí)！ 相比起傳統(tǒng)單反相機(jī)幾千萬(wàn)像素的纖毫畢現(xiàn), 這個(gè)數(shù)量級(jí)的空間分辨率，對(duì)用于攝影的消費(fèi)者而言如同玩具。這也是光場(chǎng)相機(jī)在消費(fèi)者市場(chǎng)遇冷到消失的最大因素。即使Lytro后續(xù)推出了2.0代光場(chǎng)相機(jī)，以進(jìn)一步壓縮角度分辨率的方式來(lái)提高空間分辨率，上述問題，依舊沒有得到徹底的解決。不過(guò)，這個(gè)缺陷應(yīng)該辯證看待，角度信息和空間信息的相對(duì)取舍，取決于應(yīng)用場(chǎng)景。

2. 基線過(guò)短
基線問題的長(zhǎng)短問題，消費(fèi)者對(duì)其不敏感，然而在宏觀成像和測(cè)量領(lǐng)域，比如航空攝影測(cè)繪、雙目立體視覺、衛(wèi)星遙感成像，卻是一個(gè)及其重要的參數(shù)。

基線和視差關(guān)系示意圖

在多目視覺中，圖像接受者（人，機(jī)器）對(duì)于深度信息的感知，源于目標(biāo)在不同相機(jī)（眼睛）上的視差，視差大小隨著目標(biāo)物離相機(jī)的距離變化。相機(jī)之間的距離長(zhǎng)度被稱為基線長(zhǎng)度，在同等距離條件下，基線長(zhǎng)度越大，則視差越大，對(duì)深度的分辨能力也越高。

對(duì)于雙目視覺，它的基線長(zhǎng)度可以由大致平行布置的兩個(gè)相機(jī)之間的間距表示，而對(duì)于光場(chǎng)相機(jī)，它的基線長(zhǎng)度如何計(jì)算？如下圖所示，因?yàn)槊總€(gè)微透鏡都記錄著入射點(diǎn)光源的一部分信息，此時(shí)你把每個(gè)微透鏡都當(dāng)成是一個(gè)小相機(jī)，那么你就可以直觀的得到答案，由于多個(gè)”小相機(jī)“的存在，光場(chǎng)相機(jī)存在多個(gè)基線，但是光場(chǎng)相機(jī)的最大基線長(zhǎng)度，是被點(diǎn)亮的間隔最遠(yuǎn)的兩個(gè)微透鏡的距離。 但是這個(gè)基線長(zhǎng)度，存在兩個(gè)特性：首先是基線長(zhǎng)度隨著點(diǎn)光源的離焦距離變化，離焦平面近的時(shí)候，只有少數(shù)個(gè)微透鏡下被點(diǎn)亮，因此最大基線長(zhǎng)度比較短，但是離焦平面遠(yuǎn)的時(shí)候，更多的微透鏡被點(diǎn)亮，最大基線長(zhǎng)度變大（這也是光場(chǎng)相機(jī)在焦平面附近，景深分辨率最差的原因）；盡管如此，微透鏡的基線長(zhǎng)度，無(wú)法超過(guò)CCD芯片尺寸本身。

這種差距，和雙目視覺對(duì)比，尤其明顯，比如上圖右邊的光場(chǎng)基線長(zhǎng)度，大致在2~3個(gè)微透鏡的直徑左右。由于光場(chǎng)相機(jī)的基線過(guò)短，在被測(cè)物距離較遠(yuǎn)的情況下，深度分辨率將會(huì)受到很大限制。

3. 相機(jī)的動(dòng)態(tài)范圍HDR被壓縮
利用上一個(gè)點(diǎn)光源的分析案例可以發(fā)現(xiàn)，當(dāng)點(diǎn)光源在焦平面附近時(shí)，只有少數(shù)微透鏡被點(diǎn)亮，必然有更多的光能量，集中到少數(shù)CCD上；當(dāng)點(diǎn)光源離焦平面院時(shí)，多個(gè)微透鏡被點(diǎn)亮，即點(diǎn)光源的能量分布更加分散。 在這種條件下，為了讓相機(jī)CCD不過(guò)曝或者過(guò)暗，被拍攝物體的亮度只能在一個(gè)比較小的動(dòng)態(tài)范圍內(nèi)，使得物體離焦近時(shí)不至于過(guò)曝，離焦遠(yuǎn)時(shí)不至于過(guò)暗。

點(diǎn)光源離焦平面不同距離時(shí)的能量分布

上述三大問題，嚴(yán)重限制著光場(chǎng)相機(jī)的應(yīng)用領(lǐng)域，也是光場(chǎng)相機(jī)在過(guò)去十年，不被消費(fèi)者所接納的主要原因。然而，寸有所長(zhǎng)，尺有所短，在To B端以及學(xué)屆，光場(chǎng)相機(jī)卻有著諸多獨(dú)特優(yōu)勢(shì)，能完成傳統(tǒng)成像設(shè)備所不能的任務(wù)。 上述三大不足，在這些應(yīng)用領(lǐng)域，都得到了相應(yīng)的克服和一定程度的解決。此外，以動(dòng)態(tài)的目光看，隨著像素尺寸的縮小、芯片上像素?cái)?shù)目的增長(zhǎng)、更高動(dòng)態(tài)范圍芯片的出現(xiàn)（甚至有些芯片號(hào)稱，開發(fā)了永遠(yuǎn)不過(guò)曝的技術(shù)），上述問題有望得到根本性的解決。

技術(shù)的興衰往往如此，峰回路轉(zhuǎn)又一村，吸引著每一個(gè)十年中的人們”Boom and Bust“。