產(chǎn)品詳情:
4.2.1、產(chǎn)品簡(jiǎn)介
人工智能自然語(yǔ)音綜合實(shí)訓(xùn)平臺(tái),可以開展語(yǔ)音信號(hào)的采集與播放、語(yǔ)音編解碼、回聲消除、語(yǔ)音信號(hào)降噪、語(yǔ)音變速變調(diào)、語(yǔ)音識(shí)別、語(yǔ)音合成、智能對(duì)話等智能語(yǔ)音處理課程教學(xué)與實(shí)踐。
該實(shí)訓(xùn)箱是一款軟硬件一體的人工智能教學(xué)與開發(fā)實(shí)踐端側(cè)設(shè)備,主要包含人工智能邊緣計(jì)算平臺(tái)、六合一麥克風(fēng)陣列、離線語(yǔ)音模塊、天貓精靈、高保真揚(yáng)聲器、AIOT無線網(wǎng)關(guān)、AIOT虛實(shí)結(jié)合采集控制端模塊和AIOT端感控場(chǎng)景應(yīng)用系統(tǒng),以及智能溫濕度計(jì)、智能無線按鈕、LED燈等傳感控制器件。實(shí)驗(yàn)箱配套相關(guān)教學(xué)實(shí)踐資源。預(yù)裝Linux操作系統(tǒng)和深度學(xué)習(xí)框架、智能語(yǔ)音處理SDK,且具有CANS機(jī)構(gòu)認(rèn)可的產(chǎn)品檢驗(yàn)報(bào)告。
4.2.2、產(chǎn)品特點(diǎn)
1)出廠預(yù)裝Ubuntu操作系統(tǒng)和深度學(xué)習(xí)框架
平臺(tái)出廠預(yù)裝Ubuntu操作系統(tǒng)與深度學(xué)習(xí)框架,集成Python3、機(jī)器視覺、自然語(yǔ)言、深度學(xué)習(xí)、ROS系統(tǒng)等開發(fā)環(huán)境,能滿足人工智能相關(guān)的學(xué)習(xí)與開發(fā)。
2)離線語(yǔ)音圖形化中文編程開發(fā)
平臺(tái)離線語(yǔ)音模塊提供配套圖形化編程軟件“天問Block”,通過中文圖形化語(yǔ)句指令的編程后可自動(dòng)生成專業(yè)代碼,用戶只需“拖拉、組合、點(diǎn)擊”的方式即可完成程序指令的編寫,哪怕零基礎(chǔ)也能快速上手進(jìn)行單片機(jī)硬件開發(fā),從而可以將更多的精力放到邏輯層面。
3)三大語(yǔ)音開發(fā)套件循序漸進(jìn)學(xué)習(xí)語(yǔ)音處理
平臺(tái)裝配天貓精靈、離線語(yǔ)音、麥克風(fēng)陣列三大語(yǔ)音采集模塊,引導(dǎo)學(xué)生循序漸進(jìn)學(xué)習(xí)自然語(yǔ)音處理技術(shù)。天貓精靈支持藍(lán)牙Mech設(shè)備連接,從而實(shí)現(xiàn)周邊設(shè)備的語(yǔ)音控制。離線語(yǔ)音模塊,開放軟硬件接口,支持零代碼編程,可以輕松實(shí)現(xiàn)對(duì)燈光、風(fēng)扇、空調(diào)等設(shè)備的離線控制。麥克風(fēng)陣列內(nèi)含科大訊飛深度學(xué)習(xí)框架,支持聲源定位、語(yǔ)音導(dǎo)航、語(yǔ)音交互、離線語(yǔ)音識(shí)別,真正實(shí)現(xiàn)人工智能層面的自然語(yǔ)音處理技術(shù)。
4)三大智慧語(yǔ)音端感控場(chǎng)景應(yīng)用單元
平臺(tái)搭載智慧環(huán)境、安防感知、智慧停車三大端感控場(chǎng)景應(yīng)用,通過虛實(shí)結(jié)合采集點(diǎn)、無線網(wǎng)關(guān)實(shí)現(xiàn)與與語(yǔ)音模塊的語(yǔ)音交互。包括通過語(yǔ)音獲取場(chǎng)景單元傳感器的狀態(tài),以及通過語(yǔ)音控制場(chǎng)景單元的執(zhí)行器狀態(tài),從而實(shí)現(xiàn)自然語(yǔ)言處理技術(shù)在不同場(chǎng)景的智慧應(yīng)用。
4.2.3、主要硬件構(gòu)成
本平臺(tái)主要由邊緣計(jì)算平臺(tái)、麥克風(fēng)陣列、離線語(yǔ)音模塊、天貓精靈智能音箱、AIOT無線網(wǎng)關(guān)、AIOT虛實(shí)采集控制模塊、端感知控制模組等硬件模塊構(gòu)成,介紹如下:
(1)Jetson Nano邊緣計(jì)算平臺(tái)
NVIDIA Jetson Nano是一個(gè)小巧卻功能強(qiáng)大的計(jì)算機(jī),它可以讓你并行運(yùn)行多個(gè)神經(jīng)網(wǎng)絡(luò)、對(duì)象檢測(cè)、分割和語(yǔ)音處理等應(yīng)用程序,Jetson Nano搭載四核cortex-A57處理器,128核MaxwellGPU及4GB LPDDR內(nèi)存,帶來足夠的AI計(jì)算能力,提供472GFLOP算力,并支持一系列流行的Al框架和算法,比如TensorFlow、Pytorch.caffe/caffe2、Keras、MXNET等
(2)語(yǔ)音識(shí)別麥克風(fēng)陣列
麥克風(fēng)陣列采用 4 核高性能邊緣計(jì)算處理器。內(nèi)部集成特定的語(yǔ)音算法,利用麥克風(fēng)陣列的空域?yàn)V波特性,通過喚醒人的角度定位,形成定向拾音波束,并對(duì)波束以外的噪聲進(jìn)行抑制,提升遠(yuǎn)場(chǎng)拾音質(zhì)量。同時(shí)針對(duì)人機(jī)交互一體終端,集成高性能回聲消除算法,降低語(yǔ)音、 語(yǔ)義識(shí)別難度,防止自言自語(yǔ)的情況發(fā)生。
麥克風(fēng)陣列接口采用科大訊飛M260C環(huán)形麥克風(fēng)陣列,陣列由 6 個(gè)麥克風(fēng)環(huán)形排列組成,遠(yuǎn)場(chǎng)拾音實(shí)驗(yàn)室環(huán)境下可達(dá) 10m,喚醒角度的分辨率為 1°,可進(jìn)行 360°全方位聲源定位。
(3)智能聲控音箱
天貓精靈IN糖采用了圓潤(rùn)的糖果造型設(shè)計(jì),頂部有一個(gè)觸控式操作面板,可以實(shí)現(xiàn)對(duì)音量、播放/暫停等功能的控制。搭載了天貓精靈語(yǔ)音助手,用戶可以通過語(yǔ)音與音箱進(jìn)行交互。兼容眾多智能家居設(shè)備,如智能燈具、智能插座、智能門鎖等。用戶可以通過語(yǔ)音指令或手機(jī)APP控制這些設(shè)備,實(shí)現(xiàn)智能家居的自動(dòng)化和智能化。
(4)離線語(yǔ)音模塊
離線語(yǔ)音模塊上采用ASRPRO智能離線語(yǔ)音識(shí)別核心板,它是一款通用、便攜、低功耗高性能的語(yǔ)音識(shí)別芯片,采用了第三代語(yǔ)音識(shí)別技術(shù),能支持DNN\TDNN\RNN等神經(jīng)網(wǎng)絡(luò)及卷積運(yùn)算,支持語(yǔ)音識(shí)別、聲紋識(shí)別、語(yǔ)音增強(qiáng)、語(yǔ)音檢測(cè)等功能,具備強(qiáng)勁的回聲消除和環(huán)境噪聲抑制能力,語(yǔ)音識(shí)別效果優(yōu)于其它語(yǔ)音芯片。該芯片方案還支持漢語(yǔ)、英語(yǔ)、日語(yǔ)等多種全球語(yǔ)言,可廣泛應(yīng)用于家電、照明、玩具、可穿戴設(shè)備、工業(yè)、汽車等產(chǎn)品領(lǐng)域,搭配天問Block 圖形化編程軟件,快速實(shí)現(xiàn)語(yǔ)音交互及控制和各類智能語(yǔ)音方案應(yīng)用。
(5)AIOT無線網(wǎng)關(guān)
核心MCU朵用ARM Cortex-M3內(nèi)核微控制器,搭載2.0寸TFT觸摸顯示屏,標(biāo)配ZigBee+WiFi兩大無線通信模組。整個(gè)AIOT無線網(wǎng)關(guān),實(shí)現(xiàn)了邊緣計(jì)算網(wǎng)關(guān)、離線語(yǔ)音模塊、天貓精靈、無線智能節(jié)點(diǎn)等多路無線數(shù)據(jù)和串口數(shù)據(jù)的轉(zhuǎn)發(fā)。
(6)AIOT虛實(shí)結(jié)合采集控制終端
核心MCU采用基于ARM Cortex-M3內(nèi)核的32位微控制器;配有1塊3.2寸TFT觸摸顯示屏用于顯示和交互,分辨率為320*240。對(duì)外提供多種可編程的硬件接口,包括485、CAN、ADC、SPI、PWM、GPIO、UART、IIC等。預(yù)留了通用雙排防反插接口,支持Zigbee、Wifi、Lora、433等無線模塊的自由切換。
(7)AIOT端感控場(chǎng)景應(yīng)用系統(tǒng)
智慧環(huán)境感知單元:光照、溫濕度、雨雪、風(fēng)扇、數(shù)碼管、調(diào)色燈
智能安防感知單元:紅外對(duì)射、煙霧、酒精、蜂鳴器、觸摸按鍵、人體
智能停車感知單元:超聲波、電磁鎖、繼電器、舵機(jī)
4.2.4、平臺(tái)主要功能
(1)端感知控制
1)端感知控制主要依賴于AIOT感控場(chǎng)景應(yīng)用硬件模塊進(jìn)行,配套對(duì)應(yīng)的Ubantu應(yīng)用軟件,主要包含環(huán)境監(jiān)測(cè)、安防感知、智能停車三個(gè)應(yīng)用場(chǎng)景。
環(huán)境監(jiān)測(cè):獲取當(dāng)前的溫度、濕度、光照、雨雪等環(huán)境信息,或控制調(diào)光燈、排風(fēng)扇狀態(tài)。
安防感知:隨時(shí)監(jiān)測(cè)當(dāng)前的紅外、煙霧、酒精、觸摸按鍵、人體感應(yīng)等安防信息,或控制蜂鳴器的狀態(tài)。
智能停車:及時(shí)獲取超聲波傳感的距離數(shù)據(jù),或控制電磁鎖、繼電器、停車桿、數(shù)碼管的狀態(tài)信息。
(2)離線語(yǔ)音識(shí)別
離線語(yǔ)音識(shí)別以離線語(yǔ)音模塊為語(yǔ)音輸入,通過配套的圖形化編程軟件編寫相關(guān)指令代碼后及可使用設(shè)定的“關(guān)鍵詞”喚醒模塊,喚醒后通過預(yù)先設(shè)計(jì)的“關(guān)鍵指令”獲取板載或端感控場(chǎng)景中傳感器的數(shù)據(jù),或控制對(duì)應(yīng)的執(zhí)行對(duì)象。該模塊無需聯(lián)網(wǎng)可在離線狀態(tài)下使用,且無需每次對(duì)話均要喚醒。在喚醒狀態(tài)下,可連續(xù)與之進(jìn)行語(yǔ)音交互。
(3)天貓精靈語(yǔ)音識(shí)別
天貓精靈語(yǔ)音識(shí)別主要以天貓精靈智能音響為識(shí)別核心,配套溫濕度計(jì)、按鈕、AIOT無線網(wǎng)關(guān)(含天貓精靈模塊),通過配對(duì)接入阿里物聯(lián)網(wǎng)云平臺(tái)后,不僅可以通過語(yǔ)音交互獲取“天氣、新聞、娛樂”等網(wǎng)絡(luò)信息,還可以通過語(yǔ)音交互控制實(shí)驗(yàn)平臺(tái)上“AIOT虛實(shí)采集控制終端”的燈光。
(4)麥克風(fēng)陣列語(yǔ)音識(shí)別
麥克風(fēng)陣列語(yǔ)音識(shí)別使用麥克風(fēng)陣列作為語(yǔ)音輸入,平臺(tái)配備了Ubuntu人機(jī)交互應(yīng)用,支持高精度的語(yǔ)音識(shí)別、語(yǔ)義分析和語(yǔ)音控制。通過設(shè)置與端感知控制板建立連接后,程序界面左下方會(huì)顯示溫濕度傳感器等數(shù)據(jù),也能控制端感知控制板上的執(zhí)行器硬件。
通過語(yǔ)音查詢指令,可以查詢端感知控制板上各傳感器的數(shù)據(jù),通過控制指令,可以控制端感知控制板上各執(zhí)行器的狀態(tài)。
4.2.5、配套課程資源
人工智能自然語(yǔ)言實(shí)驗(yàn)平臺(tái)配套提供豐富的課程資源,課程主要包括《Python基礎(chǔ)》、《自然語(yǔ)言處理》、《離線語(yǔ)音》、《端感知控制》、《PyQT5應(yīng)用開發(fā)》、《天貓精靈應(yīng)用開發(fā)》等。課程會(huì)涉及到實(shí)驗(yàn)平臺(tái)中的各個(gè)硬件模塊,包括麥克風(fēng)陣列、離線語(yǔ)言、天貓精靈、AIOT感知控制單元等。同時(shí),課程也會(huì)涉及到人工智能領(lǐng)域中的關(guān)鍵技術(shù),包括Python基礎(chǔ)、自然語(yǔ)言、深度學(xué)習(xí)、離線語(yǔ)音、天貓精靈云服務(wù)等。
1)《Python基礎(chǔ)》課程主要包括Python的基礎(chǔ)語(yǔ)法、數(shù)據(jù)類型、表達(dá)式、函數(shù)異常處理等內(nèi)容,主要為了學(xué)生掌握后續(xù)課程打下基礎(chǔ)。
2)《自然語(yǔ)言處理》課程主要包括麥克風(fēng)陣列、文本處理、深度學(xué)習(xí)、百度AI語(yǔ)音云服務(wù)等內(nèi)容,學(xué)生通過學(xué)習(xí)可以掌握人工智能自然語(yǔ)言相關(guān)的理論及使用方法。
3)《離線語(yǔ)音應(yīng)用開發(fā)》課程主要包括如何利用離線語(yǔ)音模塊進(jìn)行智能對(duì)話、硬件控制、屏幕控制、串口輸出協(xié)議數(shù)據(jù)等應(yīng)用開發(fā),學(xué)生通過學(xué)習(xí)可以快速上手離線語(yǔ)音模塊開發(fā)方法。
4)《端感知控制》課程主要包括Stm32應(yīng)用開發(fā)基礎(chǔ)、端感知控制板上的傳感器實(shí)驗(yàn)以及基于Zigbee模組無線應(yīng)用等內(nèi)容,學(xué)生通過學(xué)習(xí)可以掌握如何控制和采集端感知控制板。
5)《PyQT5應(yīng)用開發(fā)》課程主要包括PyQT5的界面設(shè)計(jì)、信號(hào)與槽、UI布局、數(shù)據(jù)庫(kù)、多線程、網(wǎng)絡(luò)編程等內(nèi)容,學(xué)生通過學(xué)習(xí)可以掌握如何設(shè)計(jì)PyQT5應(yīng)用。
6)《天貓精靈應(yīng)用開發(fā)》課程主要包括天貓精靈芯片模組的調(diào)試方法,阿里云物聯(lián)網(wǎng)飛燕平臺(tái)的使用,RGB燈、溫濕度傳感器、蜂鳴器、光照傳感器等硬件接入天貓精靈的應(yīng)用開發(fā),學(xué)生通過學(xué)習(xí)可以掌握如何將一個(gè)普通的傳感器執(zhí)行器模塊接入天貓精靈生態(tài)。
每一門課程都提供了包括環(huán)境搭建、開發(fā)流程、原理講解、基礎(chǔ)應(yīng)用的部分,并且課程不是相互獨(dú)立的,它們之間有一定關(guān)聯(lián)性和梯度。通過由淺入深、循序漸進(jìn)的學(xué)習(xí),學(xué)生能輕松理解人工智能自然語(yǔ)言相關(guān)理論,學(xué)會(huì)各種開發(fā)工具的使用,掌握應(yīng)用開發(fā)的方法,獲得人工智能的基本應(yīng)用開發(fā)能力。
(1)《Python基礎(chǔ)》實(shí)驗(yàn)?zāi)夸?br/>《Python基礎(chǔ)》實(shí)驗(yàn)?zāi)夸?br/>1 Python概述、發(fā)展與特點(diǎn)
2 開發(fā)環(huán)境搭建和使用(平臺(tái)介紹、平臺(tái)開機(jī)、實(shí)驗(yàn)操作)
3 Python語(yǔ)法
4 Python縮進(jìn)
5 Python注釋
6 Python變量
7 Python引入外援
8 Python基礎(chǔ)數(shù)據(jù)類型-整型(int)
9 Python基礎(chǔ)數(shù)據(jù)類型-浮點(diǎn)型(float)
10 Python基礎(chǔ)數(shù)據(jù)類型-布爾類型(bool)
11 Python基礎(chǔ)數(shù)據(jù)類型-字符串(String)
12 Python基礎(chǔ)數(shù)據(jù)類型-類型轉(zhuǎn)換
13 Python常用操作符-算術(shù)操作符
14 Python常用操作符-比較操作符
15 Python常用操作符-邏輯操作符
16 Python常用操作符-位操作符
17 Python分支與循環(huán)
18 Python條件表達(dá)式與斷言
19 Python程序控制-While循環(huán)語(yǔ)句
20 Python程序控制-for循環(huán)語(yǔ)句
21 Python程序控制-break語(yǔ)句
22 Python程序控制-continue語(yǔ)句
23 Python高級(jí)數(shù)據(jù)類型-列表(List)
24 Python高級(jí)數(shù)據(jù)類型-元組(Tuple)
25 Python高級(jí)數(shù)據(jù)類型-字符串(String)
26 Python高級(jí)數(shù)據(jù)類型-序列(Sequence)
27 Python高級(jí)數(shù)據(jù)類型-字典(Dictionary)
28 Python高級(jí)數(shù)據(jù)類型-集合(Set)
29 Python函數(shù)-創(chuàng)建與調(diào)用
30 Python函數(shù)-參數(shù)與返回值
31 Python函數(shù)-變量
32 Python函數(shù)-函數(shù)式編程
33 Python函數(shù)-遞歸
34 Python存儲(chǔ)-文件操作
35 Python存儲(chǔ)-文件系統(tǒng)(OS)
36 Python異常處理-except語(yǔ)句
37 Python異常處理-finally語(yǔ)句
38 Python異常處理-raise語(yǔ)句
39 Python類和對(duì)象-對(duì)象、self、__init__
40 Python類和對(duì)象-繼承
41 Python類和對(duì)象-組合
42 Python類和對(duì)象-構(gòu)造與析構(gòu)
43 Python模塊-創(chuàng)建和使用
44 Python模塊-導(dǎo)入模塊
45 Python模塊-包
2、《自然語(yǔ)言處理》實(shí)驗(yàn)?zāi)夸?br/>《自然語(yǔ)言處理》實(shí)驗(yàn)?zāi)夸?br/>1 自然語(yǔ)言處理簡(jiǎn)介
2 實(shí)驗(yàn)平臺(tái)硬件介紹
3 麥克風(fēng)陣列-語(yǔ)音喚醒
4 麥克風(fēng)陣列-聲源定位實(shí)驗(yàn)
5 麥克風(fēng)陣列-語(yǔ)音錄制與播放
6 自然語(yǔ)言處理-語(yǔ)音合成
7 自然語(yǔ)言處理-中文分詞
8 自然語(yǔ)言處理-詞性標(biāo)注
9 自然語(yǔ)言處理-句法分析
10 自然語(yǔ)言處理-語(yǔ)義分析
11 自然語(yǔ)言處理-文本信息提取
12 自然語(yǔ)言處理-文本分類
13 自然語(yǔ)言處理-文本相似度
14 自然語(yǔ)言處理-文本摘要
15 自然語(yǔ)言處理-文本主題分析
16 自然語(yǔ)言處理-文本情感分析
17 深度學(xué)習(xí)應(yīng)用-機(jī)器智能問答
18 深度學(xué)習(xí)應(yīng)用-機(jī)器智能聊天
19 深度學(xué)習(xí)應(yīng)用-機(jī)器智能翻譯
20 自然語(yǔ)言云服務(wù)應(yīng)用-百度AI賬號(hào)申請(qǐng)與應(yīng)用創(chuàng)建
21 自然語(yǔ)言云服務(wù)應(yīng)用-語(yǔ)音識(shí)別與語(yǔ)音合成
22 自然語(yǔ)言云服務(wù)應(yīng)用-地址信息識(shí)別
23 自然語(yǔ)言云服務(wù)應(yīng)用-情感傾向分析
24 自然語(yǔ)言云服務(wù)應(yīng)用-評(píng)論觀點(diǎn)抽取
25 自然語(yǔ)言云服務(wù)應(yīng)用-對(duì)話情緒識(shí)別
26 自然語(yǔ)言云服務(wù)應(yīng)用-短文本相似度
27 自然語(yǔ)言云服務(wù)應(yīng)用-文本糾錯(cuò)
28 自然語(yǔ)言云服務(wù)應(yīng)用-詞義相似度
29 自然語(yǔ)言云服務(wù)應(yīng)用-文章標(biāo)簽
30 自然語(yǔ)言云服務(wù)應(yīng)用-文章分類
31 自然語(yǔ)言云服務(wù)應(yīng)用-智能春聯(lián)
32 自然語(yǔ)言云服務(wù)應(yīng)用-智能寫詩(shī)
33 自然語(yǔ)言云服務(wù)應(yīng)用-祝福語(yǔ)生成