logo 首頁 > 文匯報 > 神州大地 > 正文

女學霸研智能臂環 方便手語溝通

2017-05-10
■王娜娜(左)和黃爽(右)為幫助失語者與外界溝通,研發了一款翻譯手語APP。 網上圖片■王娜娜(左)和黃爽(右)為幫助失語者與外界溝通,研發了一款翻譯手語APP。 網上圖片

「手音」智能臂環是一款針對失語者的小眾產品,可將手語動作轉換成文字,顯示在手機APP界面,預計本月下旬上線。手語是失語者(包括聽障人士等)彼此溝通的橋樑,「手音」將作潤物細無聲的溝通橋樑。「手音」創始人王娜娜和聯合創始人黃爽原是北京航空航天大學2012級的學生,她們是同一個宿舍的閨蜜,2015年開始想為失語者做些什麼。 ■《中國青年報》

在一次活動上,王娜娜認識了北京聯合大學特殊教育學院畢業的失語者張權,並成了好朋友。因為王娜娜不會手語,這兩位現實中的朋友相處更像網友,即使見面也往往會求助微信溝通。

回到宿舍,王娜娜把張權的故事告訴了黃爽。她們此後認識了更多的失語者,也愈發感到溝通的困難。「有時我覺得我說話是在『傷害』他們,一聊得開心就在想是不是忽略他們了,甚至有些自責。」王娜娜說。

上網一查,失語者在中國的數量達到7,000萬人,佔總人口的5%,這是一個非常龐大的數字。

兩個人想起了參加「馮如杯」(「馮如杯」為北航校內學生學術科技作品競賽)時的圖像識別項目,當時該項目獲得了一等獎,或許可以用這種技術幫助失語者。

產品涵蓋200個手語動作

於是,她倆茪漎膍s手語翻譯的可行性,開始查論文、做實驗、寫代碼,用「馮如杯」一等獎獎金5萬元人民幣作為啟動資金行動起來。圖像識別被否決了,因為不能隨時攜帶攝像頭;手套被否決了,因為太引人注意,最終確定了通過臂環捕捉肌電信號的方法。因為智能手錶逐漸普及,失語者帶蚆u環看上去並不突兀。

確定研發方向後,關鍵是不斷地輸入數據、調試數據以保證手語翻譯的準確性。為了保證數據的多樣化,她們後來聯繫了天津理工大學聾人工學院,合作進行數據採集和智能臂環開發,還與北京市朝陽區殘聯達成合作意向,為「手音」的產品服務化提供諮詢、指導。張權也成了團隊的顧問。

如今,「手音」涵蓋了200個手語動作,為了保證精確度,每一個動作錄製了1,000人次。在有了自己的手勢數據庫之後,團隊還搭建了一個7層BP神經網絡(一種按誤差逆傳播算法訓練的多層前饋網絡,是目前應用最廣泛的神經網絡模型之一)對數據速度進行訓練,目前識別準確度已經達到95%。

讀文匯報PDF版面

新聞排行
圖集
視頻