英特爾研發(fā)神經形態(tài)芯片,其用意何在呢?
英特爾已經展開了幾次收購行動,并修改了深度學習的發(fā)展藍圖。新的產品系列既涵蓋了用于訓練神經網絡的Knights Mill和Lake Crest(Nervana),也包含用于運行這些模型的Xeons,Altera FPGA和Movidius視覺處理器。
隨著Loihi測試芯片的發(fā)布,英特爾現在已經將另一芯片納入產品組合中。不過,這一個芯片有一點不同。對于開創(chuàng)者來說,這一芯片并不是公司人工智能產品事業(yè)部的一部分,而是英特爾研究院的一部分,該研究院花了約六年時間研發(fā)這一測試芯片。此外,Loihi測試芯片有一個非常不同的“自學”神經構造,有潛力解決更加廣泛的人工智能問題。
模擬大腦的計算機的概念并不新鮮,美國加利福尼亞理工學院的科學家卡弗·米德(Carver Mead)在20世紀80年代就開始研究這個概念,并創(chuàng)造了“神經元”這一術語。但是,這些在很大程度上還是讓科學項目只帶來少量的商業(yè)應用軟件。英特爾研究院高級首席工程師兼首席科學家Narayan Srinivasa在接受采訪時解釋道,公司為什么選擇走這一條路。
摩爾定律放緩讓英特爾可以在特定區(qū)域壓縮更多的內核。Srinivasa表示,但事實上,許多工作負載無法利用所有的這些內核,這就導致了所謂的暗場硅晶現象。換句話說,始終點亮所有的晶體管效率并不高。為了解決這個問題,該行業(yè)既需要一個更高效的結構,也需要能利用所有內核的互補性工作負載。
英特爾和其他公司受到大腦設計的啟發(fā),因為大腦做什么事的效率都很高。估計人腦大約有1000億個神經元,每一個神經元有1萬個突觸連接——或者總共有1千萬億個突觸,但是運行所需的能量比燈泡要少。當然,神經形態(tài)芯片還無法接近這種規(guī)模。但14納米的Loihi測試芯片被分為128個群集,每一個群集包含1024個神經元,總共約有13萬個神經元,散布著1.3億個突觸。
但芯片運行的原理是類似的,至少在我們了解大腦如何工作的范圍內是如此。當發(fā)送到神經元的脈沖或“尖波”達到一定的激活水平時,它會將突觸上的信號發(fā)送到其他神經元。不過,大部分的活動都發(fā)生在“易變化的”突觸上,意味著突觸可以從這些變化中學到東西并存儲這些新信息。不像擁有單獨計算和存儲器的常規(guī)系統(tǒng),神經形態(tài)芯片擁有許多存儲器(在這種情況下為SRAM高速緩存),安裝在靠近計算引擎的位置。
這些脈沖神經網絡中沒有全局時鐘,只有在神經元達到激活水平時,神經元才會發(fā)光。而其余時間神經元都是黑暗狀態(tài)。這種異步操作使得神經形態(tài)芯片比“永遠開啟”的CPU或GPU更加節(jié)能高效。異步操作技術來源于半導體公司Fulcrum Microsystems,英特爾在2011年收購了這家開發(fā)以太網交換芯片的公司。但Srinivasan表示,這只是“用于其他技術的嘯聲”。
這也使得脈沖神經網絡有望成為其他學習模式的解決方案。GPU非常適用于監(jiān)督學習,因為這些深層神經網絡可以使用大量標簽數據進行離線訓練,這些數據可以讓大陣列處理器保持忙綠狀態(tài)。然后,這些模式被轉移到所謂的“推理”程序中,在中央處理器,現場可編程門陣列或專用集成電路上運行。神經形態(tài)芯片也可以用于監(jiān)督學習,但是由于它們本質上更有效率,所以脈沖神經網絡也應是使用稀疏數據的無監(jiān)督或強化學習的理想選擇。這方面不錯的示例就包括智能視頻監(jiān)控和機器人技術。
Loihi測試芯片并不是第一個神經形態(tài)芯片。IBM的TrueNorth,它是DARPA長期研究項目的一部分,它也許是最知名的。但也有其他的例子,比如斯坦福大學的Neurogrid,海德堡大學的BrainScaleS系統(tǒng)和曼徹斯特大學的SpiNNaker。這些都依賴于擁有多個離線訓練芯片的板卡(在某些情況下還擁有模擬電路)。英特爾表示,Loihi測試芯片可以用于實時培訓和推理,并且隨著時間的推移不斷學習,越來越擅長它所做的事情。Srinivasa說:“我們是唯一一個在單一芯片上就可以處理所有這些學習模式的公司。”
全數字設計實際上包含兩個14納米的芯片,一個簡單的x86處理器,可以在同一個程序包中進行大量的預處理(收集數據,將數據編碼成適合于脈沖神經網絡的格式,并將其傳輸到神經形態(tài)芯片),以及做出神經形態(tài)網格。Loihi測試芯片不是協(xié)同處理器;盡管系統(tǒng)細節(jié)仍在制定之中,x86芯片將會擁有引導環(huán)境和輕量級操作系統(tǒng),并充當主機。
第一批芯片將在11月份進行制作,計劃在2018年上半年與“專注推動人工智能發(fā)展的一流大學和研究機構”一同進行測試。屆時,英特爾還計劃完成一個軟件工具,可以更易于轉換數據流圖來運行作為監(jiān)督,無監(jiān)督和強化學習的脈沖神經網絡。
Loihi測試芯片神經元的數量和鼴鼠大腦中的數量大致相同,而Loihi測試芯片是一個相對較小的神經形態(tài)芯片,但英特爾表示,利用公司先進的工藝技術,可以輕松擴展這一架構。Srinivasa說:“沒有什么可以阻止我們做更多有關神經元和突觸的工作,因為它們都是一樣的。”
但是,目前這仍只是一個研究項目。的確,Loihi的名字可能傳達了這么一個微妙的信息,告訴我們還有多少工作要做。位于夏威夷島海岸的羅?;鹕绞窍耐暮5咨街形ㄒ坏幕鹕?,這座海底山還處于早期發(fā)展階段。這些海底火山經歷了幾千年的循環(huán)爆發(fā),熔巖積累和侵蝕,慢慢形成了島嶼。希望人工智能的下一個重大突破不會花那么長的時間才能出現。