機械社區(qū)
標題: FaceBook(FB.US)意念實時轉(zhuǎn)語音準確率達76% 最終計劃是打造一款A(yù)R眼鏡 [打印本頁]
作者: 潔制Amy 時間: 2019-7-31 15:00
標題: FaceBook(FB.US)意念實時轉(zhuǎn)語音準確率達76% 最終計劃是打造一款A(yù)R眼鏡
今天,,加州大學(xué)舊金山分校(UCSF)和Facebook(FB.US)在Nature Commuications上發(fā)表的一項研究顯示:
他們在“非植入式”的穿戴設(shè)備上取得了最新進展,,構(gòu)建出了一個大腦-計算機系統(tǒng),能準確解碼佩戴設(shè)備的人聽到和說出詞語和對話,,實時從大腦信號中解碼,。
也就是說,,在這種腦機接口面前,你的所思所想已無處遁形,,F(xiàn)acebook已經(jīng)讓意念打字成為了現(xiàn)實,。
此前,馬斯克的腦機接口公司Neuralink也發(fā)布過腦機接口系統(tǒng),,但這種植入式的設(shè)備需要向大腦中植入3000多個電極,,以此來檢測神經(jīng)元的活動,但非植入式的設(shè)備就免去了復(fù)雜的植入步驟,。
研究人員表示,,目前對生成和感知的兩部分語言進行解碼,準確率超出了他們的想象,,分別能達到61%和76%的準確率,。
這項項目對于正常人和殘疾人來說,都具有實用意義,。
比如,,你可以將思維直連到語音助手siri,查詢天氣,、搜索信息不用直接喊出來了,。
研究人員之一,、加州大學(xué)舊金山分校神經(jīng)外科醫(yī)生Edward Chang表示,,這是向神經(jīng)植入物邁出的重要一步,因為中風(fēng),,脊髓損傷或其他疾病而失去說話能力的患者,,有望因此獲得自然交流的能力 。
如何意念轉(zhuǎn)語音
這項成果來自Facebook Reality Labs,一直與加州大學(xué)舊金山分校合作開展這項腦機接口的研究,。
Facebook的設(shè)想是,,設(shè)計一種可以將大腦信號轉(zhuǎn)換成語言的裝置,不需要勞動任何一塊肌肉,,深度學(xué)習(xí)就能直接讀懂大腦,,解碼腦中所想,實現(xiàn)流暢交流,。
為了進行試驗,,研究人員此前還招募了五名在醫(yī)院接受癲癇治療的志愿者。
他們先是從高密度皮層活動中提取相關(guān)信號特征,。志愿者們說了上百句話,,而通過植入性大腦皮層電圖(ECoG),研究人員可以跟蹤控制語言和發(fā)音的大腦區(qū)域的活動,,并將這些活動與志愿者說話時嘴唇,、舌頭、喉部和下顎的微妙運動聯(lián)系起來,,然后將這些運動學(xué)特征翻譯成口語句子,。
研究人員采用bLSTM(bidi-rectional long short-term memory)循環(huán)神經(jīng)網(wǎng)絡(luò)來破譯ECoG信號表達的運動學(xué)表征。
接著用另外一個bLSTM解碼先前破譯的運動學(xué)特征中的聲學(xué)特征,。
在這個過程中,,兩個神經(jīng)網(wǎng)絡(luò)都會被投喂訓(xùn)練數(shù)據(jù),以提高它們的解碼性能,。
在今年的四月份,,利用這樣的方法,F(xiàn)acebook已經(jīng)實現(xiàn)了以每分鐘150詞的速度幫你說出所思所想,。
而在這篇最新的論文Real-time decoding of question-and-answer speech dialogue using human cortical activity中,,他們在此前研究基礎(chǔ)上,研究人員想進一步提高精度,。
大多數(shù)語音解碼的工作原理是對一個人在想什么聲音做出最佳猜測,,在解碼過程中可能會被“synthesizer”和“fertilizer”這類發(fā)音相似的單詞混淆。
但Facebook的新系統(tǒng)增加了上下文信息來幫助區(qū)分這些單詞,。
首先,,這個算法預(yù)測從一組已知問題中聽到的問題,比如“你在一塊土地上撒了什么?”然后,,這些信息作為上下文來幫助預(yù)測答案:“肥料”(fertilizer),。
Edward Chang表示,通過添加上下文,,這個系統(tǒng)能夠用的指定問題和答案解碼感知(聽到)的語音準確率達到76%,,解碼產(chǎn)生(口頭)的語音準確率達到了61%。
Facebook表示,未來將擴大系統(tǒng)的詞匯量,,讓其能適用在更廣泛的領(lǐng)域,。
緣起兩年前
Facebook早在兩年前,就開始著手這個項目了,。
2017年4月,,F(xiàn)acebook旗下的前沿產(chǎn)品研發(fā)團隊Building 8負責人Regina Dugan宣布,這家社交網(wǎng)絡(luò)公司將在未來兩年內(nèi),,開發(fā)出一個能以每分鐘100字的速度從人腦向外傳輸語句的“帽子”,。
Facebook設(shè)想中的“帽子”,是用來分享你的思維的,。此前清華大學(xué)也做過類似概念的研究,,頭戴一個小巧的電極帽,控制屏幕軟鍵盤上的26個字母就能打出任何語句,。
Facebook最終計劃,,是想打造一款A(yù)R眼鏡。
Facebook AR/VR業(yè)務(wù)副總裁Andrew “Boz” Bosworth表示,,這個項目的初衷,,是想構(gòu)建一個非侵入式可穿戴設(shè)備,讓人們只想通過想象他們想說什么來打字,,展示未來對AR眼鏡的投入和互動成為現(xiàn)實的潛力,。
1 q% L6 u9 X1 y1 P+ _
作者: jiangsuwanhua 時間: 2019-7-31 15:25
解放雙手的科技
作者: 柳暗花明2019 時間: 2019-7-31 15:35
意念..武器
作者: 將軍_JCZ60 時間: 2019-7-31 17:40
好恐怖的事情. ^2 W5 v6 F$ ]2 i1 L0 j
作者: 學(xué)渣渣 時間: 2019-7-31 17:42
排版差評
作者: 遠祥 時間: 2019-7-31 18:59
以后不用學(xué)英語了!
歡迎光臨 機械社區(qū) (http://97307.cn/) |
Powered by Discuz! X3.4 |