“中文十級”難題，AI怎樣解讀

產業界

陶玉祥 本報記者 盛 利

在人工智能領域，“懂語言者得天下”是普遍的共識。其中，可幫助人工智能識別人類語言的自然語言處理(NLP)被譽為人工智能語言“皇冠上的明珠”。

當人工智能自然語言處理技術遇到“要你管和不要你管”“掉地上和掉地下”“我一把把把把住了”等中文“繞口令”，“小意思”“意思意思”等多義詞時，及“俺們那疙”“中不中”等方言時，該怎樣“聽懂”這些“中文十級”語句呢?日前在成都舉辦的科大訊飛未來科棧活動上，記者采訪了相關專家。

能分詞會斷句 機器尚在努力

NLP就是機器讓計算機來理解和處理人類自然語言的技術，它和計算機視覺、語音處理的區別在于信息處理的類型。

“計算機視覺主要處理圖像，語音技術處理聲音，而NLP主要是對文字的理解。”云浮科技的創始人兼CEO張文斌說，在人工智能中，語音識別是耳朵，語音合成是嘴巴，計算機視覺是眼睛，而NLP則負責將抽象的文字符號轉化為計算機能理解的語言。

“‘中文十級’的某些語句，人類去理解都有很大難度，何況是計算機。”張文斌說，在口語和書寫上，漢字往往沒有詞與詞之間的邊界，即便機器能夠準確識別文字，但理解它的意思卻很難;再比如各種五花八門的地方口音和方言，也是“絆腳石”。

“自然語言處理一般從最小的語意單位‘詞’開始，即分詞算法。這最簡單，也最成熟。”張文斌說， NLP的算法分為語法級別、句子級別分析等，其中分詞就是將字詞切開，讓機器明白哪幾個字組成一個詞，哪幾個詞組成一句話，從而理解整句、整段的意思。但在“分詞”實際的應用過程中，仍有各種問題。

張文斌解釋，首先是分詞標準不確定、存在歧義，及新詞和實體詞困擾等問題。如“乒乓球，拍賣完了”和“乒乓球拍，賣完了”無論怎么切分都正確，這就要依賴上下文語境。其次，每年都會涌現出的網絡詞匯，“神馬”“不明覺厲”“佛系”等原來不存在的詞也需要計算機理解。

聽語氣判關系 AI有新招

如何讓機器讀懂上下文語境，從而進一步了解整段話的含義?

“我們會嘗試利用聽人類說話時的停頓信息，作為一種分詞算法的輔助。”訊飛翻譯業務負責人翟吉博說。

對于AI工程師們來說，更重要的是深層次的算法，如實體識別、屬性抽取等。“就是把人名、地名、機構名等實體識別出來后，再抽取實體之間的關系，搞清楚不同實體在句子中的不同屬性。”張文斌說，五花八門的算法還有很多，比如情感分析，分析文本里面蘊藏了什么樣的情感，是正面、負面還是中性的;文檔摘要，把長文生成一兩百字簡短的摘要等。而基于這些算法層，又可以做很多NLP的衍生應用，包括自動問答、機器翻譯等。

那如何識別方言呢?在科大訊飛的新款翻譯機設備中，首次推出方言翻譯功能，實現河南話、東北話、粵語等方言互譯，或將之翻譯成外語。翟吉博說，針對不同類型方言，機器采用不同翻譯流程——對同屬北方方言區的河南話、東北話等，可先翻譯成普通話再翻譯成外語;對于粵語等南方語言，則建立獨立的語料庫，直接從粵語到外語進行翻譯。“考慮到方言中帶有許多地方特色的說法、語言、詞匯，‘雄起’‘中不中’等也可以作為獨立的語料，由機器單獨學習。”他說，人工智能的優勢是在自然語言處理方面能夠不斷從用戶處積累語料，學習新的詞匯和表達方式，不斷完成自身數據庫和語料庫的更新。