據(jù)麥姆斯咨詢介紹，快速、高分辨率、低噪聲的3D成像技術(shù)在空間成像、生物醫(yī)學(xué)顯微鏡、智慧安防、工業(yè)檢測(cè)、文化遺產(chǎn)保護(hù)等眾多領(lǐng)域得到廣泛應(yīng)用。傳統(tǒng)的全光場(chǎng)成像因具有出色的時(shí)間分辨率被視為最有前途的3D成像技術(shù)之一：一次拍攝完成，以3000萬(wàn)像素的分辨率每秒拍攝7幀，或以100萬(wàn)像素的分辨率每秒拍攝180幀，無(wú)需多個(gè)傳感器、近場(chǎng)技術(shù)、耗時(shí)掃描和干涉技術(shù)。然而，傳統(tǒng)的全光場(chǎng)成像會(huì)損失分辨率，這通常是不可接受的。

來(lái)自歐洲的一支研究團(tuán)隊(duì)打破了這種局限，將全新的基礎(chǔ)性方法與上一代硬軟件解決方案相結(jié)合。基本思路是通過(guò)使用新型傳感器和測(cè)量協(xié)議來(lái)利用存儲(chǔ)在光相關(guān)性中的信息，實(shí)現(xiàn)一項(xiàng)非常艱巨的任務(wù)：高速(10-100fps)量子全光場(chǎng)成像(Quantum Plenoptic Imaging，縮寫為QPI)，具有超低噪聲、出色的分辨率和景深。這項(xiàng)成像技術(shù)旨在成為第一項(xiàng)實(shí)用“量子”成像技術(shù)，突破了經(jīng)典成像方式的極限。除此之外，該技術(shù)的量子特性還允許從極低光子通量下光的相關(guān)信息中提取3D圖像信息，從而減少場(chǎng)景對(duì)照明的需求。

該項(xiàng)研究工作是基于高速和高分辨率量子三維成像(Qu3D)項(xiàng)目基礎(chǔ)而開展起來(lái)的，由2019 QuantERA發(fā)起，專家來(lái)自意大利、捷克、瑞士和希臘的科研機(jī)構(gòu)和工業(yè)合作伙伴。

最先進(jìn)的全光場(chǎng)相機(jī)通過(guò)在標(biāo)準(zhǔn)數(shù)碼相機(jī)的主鏡頭和傳感器之間插入微透鏡陣列(MLA)來(lái)實(shí)現(xiàn)方向探測(cè)(見圖1a)。該傳感器獲取允許通過(guò)光探測(cè)物體和透鏡位置的復(fù)合信息。但由于結(jié)構(gòu)(使用微透鏡陣列)和物理(高斯極限)原因，圖像分辨率與獲得的方向信息成反比。因此，基于簡(jiǎn)單的光強(qiáng)測(cè)量器件，衍射極限處的全光場(chǎng)成像被認(rèn)為是不可能實(shí)現(xiàn)的。

近日，參與Qu3D項(xiàng)目的意大利國(guó)立核物理研究所(INFN)小組提出了一種新技術(shù)，稱為“關(guān)聯(lián)全光場(chǎng)成像”(Correlation Plenoptic Imaging，縮寫為CPI)，能夠解決現(xiàn)有全光場(chǎng)器件的分辨率缺陷，并保持重新聚焦能力和三維重建的優(yōu)勢(shì)。CPI可以基于強(qiáng)度測(cè)量，也可以基于光子探測(cè)，這由光源決定。實(shí)際上，CPI可以基于表征混沌源和糾纏光子束的時(shí)空相關(guān)性，對(duì)兩個(gè)不相交傳感器的空間和方向信息進(jìn)行編碼，如圖1b所示。

為了提高CPI在采集速度和數(shù)據(jù)處理的時(shí)間精準(zhǔn)性，該研究團(tuán)隊(duì)采用了專用的先進(jìn)傳感器和超高速計(jì)算平臺(tái)。

先進(jìn)傳感器基于SPAD技術(shù)。當(dāng)光電二極管的反向偏置電壓高于擊穿電壓，一個(gè)光子撞擊到光敏區(qū)域并產(chǎn)生一個(gè)電子-空穴對(duì)，進(jìn)而觸發(fā)次級(jí)載流子的雪崩，并在很短的時(shí)間尺度(皮秒)產(chǎn)生大電流?；赒PI的要求，研究人員選擇了瑞士格桑聯(lián)邦理工學(xué)院(EPFL)AQUA實(shí)驗(yàn)室開發(fā)的SwisSPAD2陣列，像素分辨率是512 x 512(見圖2)，這是迄今為止最寬、最先進(jìn)的SPAD陣列之一。該傳感器內(nèi)部結(jié)構(gòu)由兩個(gè)256 x 512的SPAD陣列組成，以減少信號(hào)線上的負(fù)載，提高運(yùn)行速度。

圖2：SwissSPAD2的光學(xué)顯微鏡照片(左)和像素示意圖(右)

在與SwissSPAD2集成的QPI器件中，單幀采集數(shù)據(jù)速率約為26 Gb/s，這已經(jīng)超出了標(biāo)準(zhǔn)數(shù)據(jù)總線的能力，對(duì)硬件和軟件設(shè)計(jì)都提出了很大的挑戰(zhàn)。基于這樣的挑戰(zhàn)性目標(biāo)，研究人員對(duì)市售的商用產(chǎn)品解決方案進(jìn)行了初步分析，以確定一組滿足QPI對(duì)計(jì)算能力和可移植性要求的一系列加速器件。英偉達(dá)(NVIDIA)的Jetson Xavier AGX開發(fā)套件提供的選項(xiàng)如圖3所示，被認(rèn)為是最適合的計(jì)算平臺(tái)。Jetson Xavier AGX提供了令人鼓舞的性能/集成比、低功耗和非常有趣的計(jì)算能力。

圖3：由NVIDIA-Jetson-AGX-Xavier提供，基于NVIDIA-Volta架構(gòu)的GPU并行處理Qu3D場(chǎng)景

通過(guò)專用量子和經(jīng)典圖像處理技術(shù)，如基于壓縮傳感的新穎數(shù)學(xué)方法、量子層析成像與量子Fisher信息，可進(jìn)一步減少收集時(shí)間。在論文中，作者討論了壓縮傳感、全光場(chǎng)層析成像、量子層析成像和量子Fisher信息等算法的作用和實(shí)驗(yàn)數(shù)據(jù)。

為了實(shí)現(xiàn)實(shí)用的量子3D成像，研究人員提出了具有挑戰(zhàn)性的研究方向：在不犧牲高信噪比(SNR)、高分辨率和大景深等優(yōu)勢(shì)的前提下，盡可能降低采集速度。研究人員在經(jīng)典成像和量子成像兩方面都取得了重大進(jìn)展，提高了全光場(chǎng)成像性能，極大地加快了量子成像，從而促進(jìn)了量子全光場(chǎng)相機(jī)的落地。

研究人員還雄心勃勃地計(jì)劃將量子成像的范圍擴(kuò)展到其他科學(xué)領(lǐng)域，并為新的市場(chǎng)機(jī)遇和應(yīng)用開辟道路，如用于生物醫(yī)學(xué)成像的3D顯微鏡，以及用于智慧安防、空間成像和工業(yè)檢測(cè)的新型設(shè)備(3D成像、重新聚焦和距離檢測(cè)能力增強(qiáng)的量子數(shù)碼相機(jī))。這項(xiàng)合作跨越了眾多學(xué)科(例如量子成像、超高速相機(jī)、GPU的低水平編程、壓縮傳感、量子信息理論和信號(hào)處理)的傳統(tǒng)界限。