韓國首爾國立大學和韓國高級科學技術(shù)研究院(KAIST)的研究人員最近開發(fā)出了一種可以作為電子皮膚的傳感器，并將其與深度神經(jīng)網(wǎng)絡集成在一起。這種深度學習增強的電子皮膚系統(tǒng)發(fā)表在《自然通訊》(Nature Communications)上的一篇論文中，它可以從遠處捕捉到人類的動態(tài)運動，比如手指的快速運動。

這套新系統(tǒng)源于機械工程和計算機科學領(lǐng)域的專家們的跨學科合作。領(lǐng)導最近這項研究的兩位研究人員是Soul國立大學的機械工程教授Seung Hwan Ko和KAIST的計算機教授Sungho Jo。

幾年來，Ko教授一直試圖通過使用激光技術(shù)在金屬納米粒子薄膜上產(chǎn)生裂紋來開發(fā)高靈敏度的應變傳感器。然后將產(chǎn)生的傳感器陣列應用到一個虛擬現(xiàn)實(VR)手套上，設(shè)計用于檢測人的手指運動。

"我的實驗室通常使用至少5到10個應變傳感器來預測精確的手部運動(每個手指至少要有1到2個傳感器)，因為隨著目標系統(tǒng)復雜度的增加，所需的應變傳感器的數(shù)量也會增加。"Ko教授說。"幾年前，我開始問自己以下問題。我們是否可以只用一個應變傳感器而不是用許多傳感器來準確預測手部運動?最初，這似乎是個很笨的問題，因為幾乎不可能分辨出應變傳感器的信號來自哪個手指。"

當Ko教授試圖開發(fā)一種能夠準確預測人的手部動作的單一應變傳感器時，Jo教授正在研究將機器學習技術(shù)與最先進的傳感器進行整合的策略。Jo教授認為，即使這些信號是由單個傳感器檢測到的，也可以利用機器學習分析人們手指運動產(chǎn)生的連續(xù)傳感器模式。

"我們意識到，如果我們能夠利用機器學習來利用這些模式，就可以清楚地解耦單個傳感器觀察到的多種不同行為，"Jo教授說。"經(jīng)過密切的合作，我們能夠開發(fā)出一種單一的深度學習傳感器，可以預測復雜的手部動作。"

當安裝在用戶的手腕上時，Ko教授、Jo教授和他們的同事們開發(fā)的傳感器可以檢測到用戶手部運動產(chǎn)生的電信號，同時還能識別這些信號來自哪個手指。與更多傳統(tǒng)的電子皮系統(tǒng)相比，傳統(tǒng)的電子皮系統(tǒng)需要每個手指至少有一個傳感器才能準確預測一個人的手部動作，而新的深度學習驅(qū)動的傳感器在單獨使用時也能很好地工作。

"傳統(tǒng)的電子皮膚至少需要5到10個應變傳感器才能準確預測手部動作，隨著目標系統(tǒng)復雜度的增加，所需的應變傳感器數(shù)量也會增加，"Ko教授說。"另一方面，我們開發(fā)的深度學習型電子皮膚傳感器，只需一個傳感器就能完成這項工作。"

研究人員沒有簡單地用更傳統(tǒng)的方法對傳感器檢測到的信號進行擬合，而是利用深度學習模型來分析信號模式隨時間的變化，并最終揭開收集到的數(shù)據(jù)背后的手指運動。從本質(zhì)上說，Ko教授、Jo教授和他們的同事證明，當與深度學習技術(shù)相結(jié)合時，單個傳感器可以獲得與多個傳感器相媲美的結(jié)果。

"我們的結(jié)果意味著，我們可以用較少的傳感器數(shù)量來實現(xiàn)復雜的檢測，"Jo教授說。"這將極大地簡化需要傳感器進行復雜檢測的系統(tǒng)。我們還預計，新的方法將促進對人體運動的間接遠程測量，適用于可穿戴式VR/AR系統(tǒng)。"

在最初的評估中，該研究團隊開發(fā)的e-skin系統(tǒng)取得了非常好的結(jié)果，成功地實時檢測和解碼復雜的手指運動，同時無論其在用戶手腕上的位置如何，都能穩(wěn)定地運行。在未來，該傳感器可能會有很多有趣的應用，包括機器人和可穿戴設(shè)備(如健身追蹤器)的開發(fā)。有趣的是，當放置在用戶的骨盆上時，同樣的系統(tǒng)還可以解碼步態(tài)運動(即行走方式)，因此可以用來制造小型高效的運動追蹤設(shè)備。

"在這項研究中，我們使用機器學習傳感器來解碼手部運動。"Ko教授說。"不過，在不久的將來，我們計劃在這項研究的基礎(chǔ)上，實現(xiàn)更復雜的身體運動預測，比如腿部、手臂，甚至可能是整個身體的運動預測。"