黄金形态通APP下载

百度彭煦潭:瀕危語言的守護者,AI讓古老語言重煥生機

jay財經觀點4年前 (2022-04-29)18
“青年是整個社會力量中最積極、最有生氣的力量,國家的希望在青年,民族的未來在青年。中國青年始終是實現中華民族偉大復興的先鋒力量。”在共青團建團100周年及五四青年節到來之際,國新辦發表的《新時代的中國青年》白皮書,高度肯定了青年的時代地位,可謂擲地有聲。在滾滾向前的時代洪流中,青年應該怎樣發揮自身價值,激揚青春?正在謝菲爾德大學讀博的彭煦潭認為,新時代的中國...

“青年是整個社會力量中最積極、最有生氣的力量,國家的希望在青年,民族的未來在青年。中國青年始終是實現中華民族偉大復興的先鋒力量。”在共青團建團100周年及五四青年節到來之際,國新辦發表的《新時代的中國青年》白皮書,高度肯定了青年的時代地位,可謂擲地有聲。

在滾滾向前的時代洪流中,青年應該怎樣發揮自身價值,激揚青春?正在謝菲爾德大學讀博的彭煦潭認為,新時代的中國為青年人實現個人理想提供了廣闊的沃土,年輕人不僅要有情懷有理想,更應該積極利用科技帶來的力量去實現心中理想。

彭煦潭,謝菲爾德大學在讀博士,研究興趣主要圍繞自然語言處理和表示學習。盡管還是一名學生,卻已經利用AI技術在保護藏川文化和瀕臨消失的語言方面做出了突出貢獻,利用百度飛槳平臺能力全自動地生成大規模“漢語-少數民族語言”詞典。

新時代青年的獨特情懷:保護瀕危語言 傳承人類文明DNA

“語言是文明的DNA”,當一些語言不再被傳遞給下一代的時候,意味著一個文明正在被人們所忘卻。2020年初的“國際母語日”期間,彭煦潭在謝菲爾德大學人文學院聽了一場演講,了解到全球現存7000余種有記錄的語言中,已經有超過400種瀕臨滅絕,超過200種處于接近瀕危的狀態。

瀕危語言的處境激起了這個熱血青年的強烈保護欲,也成為促使他加入保護瀕危語言的行動中的直接因素。談到保護瀕危語言的初衷,彭煦潭說這是一種情懷,他希望通過自己的所學知識更好的保護人類文明傳承的“DNA”。從大學的計算機專業,到博士期間研究“計算機語言學”并將自然語言處理和表示學習作為研究方向,彭煦潭始終想通過AI技術幫助一線預報工作者減輕工作量,守護瀕危語言。

彭煦潭介紹,根據中國語言資源保護工程公布最新數據,四川涼山彝族自治州和雅安地區的藏民熟悉的“爾蘇語”就是一種亟須采取保護的語言。

“不過這種保護我們發現很難通過傳統的勞動密集型方式去實現,因為想要做到這種語言的翻譯、保存,就必須找到同時會爾蘇語和漢語的人來進行‘人工對齊’,但事實上目前會這種語言的只有不到2萬人,且超過一半都是70歲以上、不會說漢語的文盲老人。而且如果遇到更生僻、更瀕危的語言就更難知道其背后的含義了。”彭煦潭解釋說。

2020年,彭煦潭及其團隊,利用專業知識在百度飛槳平臺建立模型,并基于無監督跨語言詞向量算法,成功地實現了對瀕危語言詞典的自動化生成。而且該項目成果還拿下了第三屆“中國高校計算機大賽人工智能創意賽”海外賽區的一等獎、最佳案例獎和優質開源獎。

開放心態成就心中理想:搭載百度飛槳 更好實現瀕危語言保護成果

瀕危語言的保護實現不易,但AI技術的發展卻為相關項目的開展提供了難以估量的價值。基于自身的研究方向,以及開放的技術心態,彭煦潭首先想到的是利用百度飛槳助力瀕危語言的保護。

彭煦潭表示自己早在18年就注冊了百度飛槳,當時的用戶id序列是八十多,而現在已經有幾十萬的用戶注冊使用了。過去三年,百度飛槳算子的豐富度和應用性,以及模型的配套和案例的豐富度都得到了很大提升,使用起來非常方便。他覺得在飛槳平臺搭建一個AI 算法,就像在搭積木,原來需要自己去砍樹去打磨,現在拿起積木就能動手。

“由于少數民族的語料主要圍繞神話傳說、民間故事、民歌和日常會話,我們想或許可以構建現代漢語同領域的語料庫,當各自的語料領域相對近似時,可以通過對齊算法建立瀕危語言和現代漢語之間的聯系。”彭煦潭解釋道,“在具體操作過程中,我們充分利用飛槳平臺能力構建了主題一致的現代漢語數據集,并在低資源條件下訓練單語詞向量,最終借助飛槳實現跨語言詞向量對齊算法,全自動地生成大規模‘漢語-少數民族語言’詞典。”

百度飛槳能力的加持以及我們對幾何分布方法的運用,大大解決了傳統需要雙語學者才能做到的翻譯工作,不僅能節省人力物力,也能很大程度上提升翻譯的精準度。在拯救瀕危語言的過程中發揮了很大作用。

彭煦潭介紹,后續他們還計劃把項目的源碼、文本說明和相關權利全部捐贈給了國家語保工程的“語言典藏”項目,幫助其完善語言翻譯工具鏈,以更大規模地運用在少數民族語音和地方方言的保護工作上。

而在談到未來AI技術在語言應用方面的價值時,彭煦潭表示AI技術不僅能完成語言和語言之間的翻譯,還能實現古代語言和現代語言的轉換,并幫助小語種人群實現更簡單地實現“跨語言遷移學習”,AI技術的未來應用前景非常廣闊。

民族的就是世界的,對瀕危語言的保護不僅是傳承人類多樣性文化的需要,更是增強文化自信,將民族歷史文化推向更廣闊平臺的必要措施。更多像彭煦潭這樣的中國青年接過前輩們手中的接力棒,利用自身所學實現創造性轉化和創新性實踐,讓深厚的傳統文化活起來,這是對文化自信和民族自豪最好的詮釋。

本文轉自:BT財經V

您暂未设置收款码

请在主题配置——文章设置里上传

扫描二维码手机访问