5月14日消息，索尼軟件工程師的一份報告顯示，該公司正在開發(fā)一種高度沉浸式虛擬現(xiàn)實運動系統(tǒng)，該系統(tǒng)很可能會在其下一代PlayStation控制器中使用。

　　索尼互動娛樂事業(yè)部的一個團隊在一篇名為“帶有接近傳感器的手持設(shè)備上的手勢估計的機器學(xué)習(xí)技術(shù)評估”的論文中說，他們已經(jīng)開發(fā)出一種控制器，該控制器可以精確地復(fù)制玩家手和手指的動作。

　　手指跟蹤應(yīng)用程序通常依賴于捕獲手指運動的相機，例如Oculus Quest。最近，提供更精確運動識別的電容式接近傳感器進入市場，但是，正如索尼研究人員有松和幸（Kazuyuki Arimatsu）和森樹秀樹（Hideki Mori）所指出的那樣，由于物理控制器的存在阻礙了攝像機的檢測，而仍處于起步階段的接近傳感器技術(shù)需要改進和完善，準確捕捉手的動作仍然難以捉摸。

　　Arimatsu和More承擔(dān)了填補這些空白的挑戰(zhàn)，他們構(gòu)建了具有62個嵌入式電極的原型手控制器，并使用光學(xué)監(jiān)控系統(tǒng)記錄了訓(xùn)練數(shù)據(jù)集。他們捕獲了12位對象的手的動作，每個對象的手的大小各不相同。

　　Arimatsu and More說：“我們的目標是擴大手指跟蹤功能的界限，以便在虛擬空間中使用手進行更直觀的交互。我們的方法不僅可以檢測手指在特定電極上的觸摸，還可以利用所有傳感器的值預(yù)測3D空間中手指的全面運動。為實現(xiàn)這一目標，我們評估了在計算機視覺領(lǐng)域研究的兩種卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)，用于姿勢估計，并說明了控制器上傳感器的合適架構(gòu)。”

　　為了獲得逼真的和身臨其境的3D體驗，研究人員在上個月發(fā)布的一份報告中說，我們應(yīng)用了多維表示法，根據(jù)卷積神經(jīng)網(wǎng)絡(luò)的最新成就，將卷積神經(jīng)網(wǎng)絡(luò)方法應(yīng)用于曲面的電容圖像和兩種類型的網(wǎng)絡(luò)體系結(jié)構(gòu)上，我們使用數(shù)據(jù)集評估了計算機視覺領(lǐng)域。我們還使用該原型實現(xiàn)了實時交互應(yīng)用程序，并演示了在VR應(yīng)用程序中使用手指進行直觀交互的可能性?！?/p>

　　原型視頻顯示了用戶的手及其數(shù)字表示，這些手勢做出了各種手勢，例如打開和關(guān)閉、計數(shù)、拇指旋轉(zhuǎn)、展開手指、和平標志以及伸出的拇指和小指（表示電話），它可以識別一個手握住控制器設(shè)備和起吊或投擲的物體。

　　去年，索尼為VR控制器許可了高級觸覺器，他們將能夠模擬推動、拉動、抓握和搏動的感覺，下一個索尼控制器很可能會允許游戲玩家不僅看到他們的手，而且感覺與他們互動的各種物體。

　　該團隊表示，這項技術(shù)可以應(yīng)用于游戲以外的領(lǐng)域，例如非語言交流應(yīng)用。