[He can’t reply]
高等法院第一庭的證人席旁,有個矮身木架,擺放了審訊相關的Bundle。 文件夾每個逾吋厚,約五六個排列在書架上,審訊談到那一份文件或證物,便需要從架上的文件夾中取閱出來。法庭很多時間就是消耗在翻查相關文件的程序上。文件夾背脊貼上了白紙告示,註明了這宗案件的編號及控辯雙方名字。
這宗案件為「HKSAR v. TONG Ying-kit」(香港政府v.唐英傑)。香港法庭文書處理,細緻非常。姓氏TONG全為大階英文字母,名字Ying-kit 中大小字母分野,讓人明瞭這組英文字需要連起來理解,但中間的「-」號又剛好分開了兩個中文字的粵語拼音。
唐英傑是誰?去年夏天之前,他不過是一個廿多歲,讀書成續欠佳,曾於台式茶飲店工作,後來到日本餐廳做侍應的香港年輕人。一夜間,他從藉藉無名的青年,變成了一個全港甚至全世界都知道的人。
只因他於港區國安法實施首日,即2020年7月1日,駕駛了一部電單車,被指衝向警方防線,車上插着「光復香港。時代革命」的旗幟,成為了港區國安法第一案的被告人。從此命運被改寫。
國安法首案開審後,連日來,歷史學者、政治學家、傳播專家,到庭上解說「光時」口號,是否有分裂國家的意思。然而學歷不高的唐英傑自己想甚麼?他想甚麼和案情有沒有關係?
24歲的唐英傑,身型壯碩,已還押逾一年。在三位穿墨綠色制服的懲教署職員押解下,進入犯人欄。連日審訊,他都穿同一套衣服。深藍色的西裝外套,黑色恤衫,配襯黑色領呔。同色系的領呔和恤衫融為一體,無聊時,他會用手指把玩領呔。
這天是審訊最後階段,控辯雙方律師「結案陳詞」的日子。唐英傑進入犯人欄後,三位法官未出來之前,律師團隊走到犯人欄旁,跟唐英傑商討甚麼。
律師們透過金屬欄柵送了文件給唐,而唐又俯身聆聽意見,多達九人的律師團隊有老有嫰有男有女,圍着犯人欄談笑。有些時候,律師們和唐談得輕鬆,抑壓着的「嘻嘻」聲在寧靜的法庭後方傳出來。
此案關於唐英傑的資料,有時是控方披露,有時是辯方提供,但唐自己沒有選擇出庭作供,只有他一名前僱主出庭作證。這位旺角台式飲品店老闆娘,指唐在社會運動期間擔任急救員,在案發當天約了唐到銅鑼灣吃午飯。
警方則從唐手機裡截取了社交媒體紀錄,對話裡,唐與友人於案發當天,收發過海隧道有設置了路障的資訊,而唐亦提時間「沒有遲,銅鑼灣未聚夠人」的說話。但辯方律師解釋,唐是社運的急救員,當天預備替傷者急救,而也約了友人在銅鑼灣區吃飯。
辯方今天翻出了唐英傑的中學成績表。辯方大狀Clive Grossman(郭兆銘)已達八旬,他手震震,口震震地拿着唐的成績表說:「中三那年,他的中史分數,一百分滿分,他只拿了五十分;全班130人,他考第124。」顯然,郭資深大狀想說明,唐英傑沒可能理解深奧的學術知識。
唐的爛成績,在辯方口中是說明他不知道口號的歷史意義;但對於控方來說,唐英傑在香港接受教育,有讀過中史課,而當日是七一香港回歸日,國安法生效第一天,加上關於國安法的報導已沸沸揚揚,控方周天行專員指,唐不可能不知道這支旗的意思。
周天行請法官翻看一個港島彩色地圖,周天行指出,唐英傑當天開着電單車,從東區海底隧道到港島,卻沒有直接去銅鑼灣,而是先到中環、金鐘、再繞回灣仔,先後經過(周指是衝過)四個警方防線。而從社交媒體截圖可見,唐知道自己在幹甚麼。
周續形容,唐四次被警方防線要求截停,但繼續駕駛,其中一次被射胡椒球也沒停下。控方指,唐非但沒停車,甚至加速,最後令三個警員身體「受嚴重傷害」。而現場圍觀人士拍掌歡呼,可見唐的行為嚴重危害警方及道路使用者安全。
相反,代表唐的辯護大狀郭兆銘則指,唐經過首三條警察防線,沒有直接衝向警察,而是繞開了,而第四次發生意外時,煞車燈一度閃亮。
郭資深大狀認為,「這不是恐怖分子的行為。恐怖分子不會按煞車掣,他也不會在社交媒體約人去吃飯,或帶急救用品出去。恐怖分子自毁之前不會說,我要約人去吃飯。」然而法官們卻指出,證據指當時煞車燈有亮起,但有交通意外專家卻指,其後車速是減慢還是加速沒法知道。
郭資深大狀又指,控方形容三個警員嚴重受傷是誇大了。「電單車不是致命武器,它不是機關槍。他在車上掛着那支旗,可以說是在showoff (炫耀)。但控罪說『嚴重危害社會安全』實在說不上。現場的圍觀人士,在拍掌喝采,那不是感到危險的人會做的事。怎能說公眾安全受威脅呢?」
郭更說,其他道路使用者的安全,也不見得受影響。法官杜麗冰此時指出,有證據指當時附近有一對年紀老邁的男女長者,正想過馬路。但郭堅持,沒有人感到危險。
郭資深大狀續指:「那是示威的時候,很多人在街上,街上很多人不滿政府,不滿警察。但說他這個行為嚴重危害社會,達至恐怖活動?說不上。控方引述的警方調查只證明,有人舉『光時』旗,有其他人喊港獨口號,但不能說所有人都同意其港獨訴求。」
控方周天行專員,今天帶出了要理解口號除了參考專家,也要考慮口號的 “ordinary meaning”, “ordinary understanding” 。周專員並引述案例指,常人理解口號意思如何,已可達至煽動入罪理據。
至於爭拗多天的專家意見,控方的周專員認為,包括辯方專家也同意劉智鵬教授對光時的理解(帶有分裂國家意思)是其中一個可行的理解。
周專員指控,辯方雙李專家指「光時」意義抽象又多樣的報告,不可靠又不可信。周專員指,辯方雙李專家(Eliza及 Francis)並非歷史學者,辯方報告裡的研究,也不是特意為此案進行,又指焦點小組的調查員在調查時發問了「引導性問題」。
但辯方的郭大狀則多次強調,法庭要小心不要隨便否定兩位辯方專家意見。「Eliza及 Francis是其領域上具權威的學者,兩人做的研究、著書、教學,均通過嚴謹的學術標準。控方劉智鵬或許是稱職的歷史學家,但劉智鵬教授不是政治學者,也不是政治傳播學者。Eliza及 Francis是真正的專家 (They are experts in real sense) 。」
今天代表辯方發言的郭兆銘資深大律師,年屆八十,眉毛稀疏,胖得有雙下巴,鼻子尖尖,耳朵卻特大。他在英國出生,曾於南非讀書,他嗓子陰柔,以英語提醒法庭:「正正是因為Eliza及 Francis的研究,不是特別為此案而做,而是他們老早以學者身份進行,更顯得他們是獨立而且不偏不倚 (independence and impartiality)。學界一直是這樣做研究,他們的方法受國際學術圈子認可。」
郭資深大狀,不時調整頭頂的假髮,或扯一扯身上的大狀袍,或在說英語的時候伸伸舌頭,舐舐自己乾涸的唇:「希望法庭不會說,這些專家的意見,我不用去理會,指控這些專家們是錯的,甚至說專家們一直不知道自己在做甚麼。兩位學者告訴我們,社會運動的口號是抽象的,供人各自解釋,因為口號不只要帶出實質政治訴求,還要表達情感,團結群眾。」法官杜麗冰深思着,嘴唇緊合,神情嚴肅。
郭大狀也提及,控方證人劉智鵬教授,自己曾陪伴嶺大校長現身2019年7月「光復元朗」活動:「劉教授自己出現在『光復』活動,卻說自己不知道活動主題,也堅持自己不是參與者,只是去關心學生,這種說法很令人懷疑(suspicious)。」
控方還指辯方專家一個「關鍵性缺失」在「時間脈絡」不足,即「雙李」的相關研究主要集中在2019年,非案發的2020年。郭資深大狀在自己的總結中幽了對方一默:「吓,時間脈絡的欠缺,好像控方專家犯這個錯誤更嚴重,劉教授指口號意思幾千年不變,他好意思去挑戰辯方專家幾年或幾個月的差距?」
郭資深大狀,肚腩大大,說話帶有老派英式紳士的幽默感。對於控方的指控,例如舉起「光時」旗有煽動成分,是恐怖活動,郭資深大狀攤開他的老人手掌,不住反問: “What? How? Why?”
控方指梁天琦本人支持港獨,故「光時」八字有港獨意思;控方指此八字在中聯辦外被叫喊,故「光時」有分裂國家意思。郭資深大狀連續用英語輕輕而高音地反問,說話時縮起他那佝僂的肩膀,攤開滿佈手筋的手掌: 「“So What?” 梁天琦怎樣想,被告人怎知道?“So What?”中聯辦外的活動,被告人連去都沒有去,他怎知道?」
郭大狀重申了Eliza及 Francis的意思:「口號意思是多元的,抽象的。」他舉起了右手拳頭,舉向天:「正如我喊:『Let’s go out and fight for our rights!』(我們出去爭取權利。英語fight有『打鬥』和『爭取』雙義),你可以理解為我要去寫信給報紙投稿,或參選議會,或者出去打人。一字歧義,是常見之事。」
「Eliza及 Francis提過,發訊者若想表達清晰的意思,會挑選一個意思更清楚的詞,不會選一個抽象的字去表達。『光時』這口號意思不明白,並不像『我們要去打林鄭月娥 (let’s go and beat up Carrie Lam)』那麼明確。」郭大狀語氣在說笑,但法庭裡卻沒有甚麼笑聲。
國安法首審,條文意思如何詮釋,萬眾觸目。這天,法官也曾和控辯雙方討論條文的法律觀點。
代表政府的周天行專員,提到「恐怖活動」罪行時,指出「光時」旗幟是一支帶有「政治議題(political agenda)」的旗幟,會向附近的人宣揚其包含的分裂國家意思,嚴重危害社會。
此時,唯一男性法官陳嘉信提出,根據國安法「恐怖活動罪」相關條文(24條),「造成嚴重社會危害的恐怖活動…..即屬犯罪。」陳官指,這條文是談活動(activity)而不是政治議題(political agenda)。陳官強調「的」這個字。而24條的細項指出,活動包括暴力、爆炸、縱火、破壞交通、干擾水電通訊等。
陳官解釋時,杜麗冰點頭。
周專員呢喃回應:「對,字面是這樣。」
彭寶琴插話:「不只是字面,是條例這樣寫,恐怖_的_活動,不是關於政治議題。(Activities intended to cause grave harm to society, not about political agenda)」杜官再點頭。
周堅持自己在提供事件的背景。彭官再重申。「我恐怕這一條法例不是談口號或談追求政治議題,而是關於破壞社會的活動。周先生,你是否接納這樣的解釋?」
周再說,因為唐的行為是針對警察。
彭官及杜官再重申條文是談「活動」。
周最後同意,恐怖活動罪的焦點是在「活動」一字上。
至於關於「光時」口號的控罪,則是國安法20條「煽動他人分裂國家罪」。
彭寶琴問辯方,光時口號多義,為何郭大狀說「應當無罪」,兩者關係如何?彭官指出,「煽動」於口號有兩部分,第一部分,是指口號在這個考慮了歷史及處境,合理地造成一個事實,是口號有可能去煽動 (capable to incite)。第二部分,是指被告人當時的理解,有沒有犯罪意圖 (Mens Rea刑事意圖)。
而根據控方劉教授的報告,劉也承認,被告人車上插旗時腦海想甚麼他也不知道。於是大家在爭拗第一部分,即「光時」八個字,可不可能在不考慮唐英傑想甚麼的情況下,造成煽動。
郭資深大狀澄清,辯方認為,尤其考慮要對被告人公允,若有其他可能性,根本不應入罪。郭的話是指,這口號太抽象,根本不可能煽動 (the slogan is too vague to incite)。
最後,代表辯方的郭大狀,呈上了唐英傑之前的刑事紀錄,唐曾收過超速和受限制時間駕駛的告票罰款罪行。彭官指,現時唐被告三項罪,兩項和國安法有關,這些駕駛案底不相關,可以理解唐沒有「犯罪傾向」;然而第三項交替控罪,是和駕駛安全相關,則這些案底則要考慮了。
控辯雙方結案陳詞延續了一整天。下午四時許,大家也不知道,結案陳詞是否可以這天完成。
郭資深大律師未完成發言,他望了望時鐘,顯得有點擔心。結案陳詞的流程是,控方先說,到辯方再說,由於控方先說,辯方可以回應控方的話。
郭大狀不好意思的說,「我擔心之後要讓控方回應我,不夠時間。」此時杜麗冰法官微笑回答:「他 (控方周天行專員) 不可以回應,被告人擁有最後的回應權利。(He can’t reply. The accused has the last word.)」
戴了長方型眼鏡,年紀比郭大狀年輕,黑色短髮以Gel鞏固得竪起來的周天行,望了一眼他身旁的郭大狀,沒說甚麼,低頭做筆記。
這天所有程序完畢,三名法官宣佈,一星期後的7月27日下午三時,將會宣佈判決。
周專員向法官表示,當天他有事缺席,由另一位同事頂上。
而國安法案件,亦會排着隊開庭。
專家證人會不會再次在法庭就示威口號的意思交鋒,還看一周後,第一審結果如何。
(圖為今天替辯方結案陳詞的資深大律師郭兆銘 Clive Grossman)
同時也有10000部Youtube影片,追蹤數超過2,910的網紅コバにゃんチャンネル,也在其Youtube影片中提到,...
word 中間 一條 線 在 仙女懶媽愛轟趴 Facebook 的最讚貼文
我的 #熟齡不樂活日記
上個月初我和小王走在路上,一部私家車行經搖下車窗,裡面的女子喊著小王的名字打招呼,車內的小朋友也熱情的呼喊。小王開心的回應著,我也禮貌性跟著微笑揮手示意。
車子駛離後,我 : 那是你同學和同學的媽媽嗎?
小王 : 那⋯那是姑姑和弟弟 ! 姑丈開的車啊 !
小王一臉驚恐,覺得母親已經失明或失智了。
我也被自己的眼力嚇到,明明每週末都會聚在一起吃飯,很會做烘焙的小姑一家只離我三步之遙,我竟認不得也聽不出(失明 + 失智 + 失聰 ),而且還把三歲的小姑的兒子(小姑的兒子學名應該稱什麼) 當成小王十一歲的同學 !
我知道我老花已經不是一兩天的事了,但視力竟急速退化到這般田地我也是驚呆。
我本身是1000度高度近視,江湖盛傳有近視的人不會有老花,這根本是不實謠言萬萬不可誤信啊 ! 其實一年前我已配了貴三三的多焦眼鏡( 遠看是近視眼鏡,低頭看是老花眼鏡,但中間沒有一條線那樣),但怎麼都戴不習慣,而且透過鏡片原本已小的眼睛又變更小。
上個月中我去公園籃球場尋兒,一個四捨五入五旬婦人在男性賀爾蒙及睪固酮翻騰的球場踽踽獨行已夠突兀,我還繞了球場三圈找不到孩兒,直到小王走到離我一步之遙處小聲的喊了我 : 媽, 你可不可以不要再晃了,好丟臉 !
/
日前骨頭痠痛醫生幫我排了骨質密度的檢查,看到報告裡我的骨密和鈣質,就如我現在的老本,呈現雪崩式流失也讓人太驚心。
/
關於資訊智能領域我屬重度低能可直接領手冊那種。
Windows 我會用word的復原鍵就覺得自己很行、PTT和PPT永遠拎不清、手機裡的AirDrop朋友教我三次我還是一直問、有一次我跟廠商通話她要我用另一個伺服器開開看檔案,我問什麼是伺服器?
前幾天為了小王遠距教學被迫軍備升級,添購了新筆電、螢幕鏡像輸出接頭、可連wifi 的印表機⋯,看著手機裡的作業可以直接列印出來,握著熱騰騰的A4紙我老淚縱橫。
家裡變得很高科技(有嗎)我就順便來洗一下從來沒拔下來洗過的紗窗( 以往是偶而用抹布擦一擦),發現最恐怖的不是滿手滿臉反黑,而是要裝回紗窗的最後一步,好怕一個失手紗窗直接掉落擊中行經的無辜民眾,還好老王行俠仗義,煮完午餐、安好了印表機又幫我安紗窗,會不會覺得隊友在飾演工具人那刻才是最帥的摸們?
等到裝上之後我赫然發現我的視力模糊好了三成,而且紗窗的紗本人是白色不是黑色。
word 中間 一條 線 在 李開復 Kai-Fu Lee Facebook 的精選貼文
來自創新工場大灣區人工智慧研究院的兩篇論文入選了自然語言處理領域(NLP)頂級學術會議 ACL 2020 。
這兩篇論文均聚焦中文分詞領域,是深度學習引入知識後的有益嘗試,將該領域近年來廣泛使用的各資料集上的分數全部刷至新高,在工業中也有著可觀的應用前景。
本文來自創新工場公眾號
……………………………………………………………………
創新工場兩篇論文入選ACL 2020,將中文分詞性能刷至新高
“土地,我的金箍棒在哪裡?”
“大聖,你的金箍,棒就棒在,特別配你的髮型。”
感謝神奇的中文分詞,給我們帶來了多少樂趣。豐富多變的中文行文,給人的理解造成歧義,也給AI分詞帶來挑戰。
近日,自然語言處理領域(NLP)頂級學術會議 ACL 2020 (https://acl2020.org/)正在火熱舉行。
令人振奮的是,來自創新工場大灣區人工智慧研究院的兩篇論文入選。這兩篇論文均聚焦中文分詞領域,是深度學習引入知識後的有益嘗試,將該領域近年來廣泛使用的各資料集上的分數全部刷至新高,在工業中也有著可觀的應用前景。
分詞及詞性標注是中文自然語言處理的基本任務,尤其在工業場景對分詞有非常直接的訴求,但當前沒有比較好的一體化解決方案,而且中文分詞普遍存在歧義和未登錄詞的難題。
基於此,兩篇論文各自提出了“鍵-值記憶神經網路的中文分詞模型”和“基於雙通道注意力機制的分詞及詞性標注模型”,將外部知識(資訊)創造性融入分詞及詞性標注模型,有效剔除了分詞“噪音”誤導,大幅度提升了分詞及詞性標注效果。
兩篇文章的作者有:華盛頓大學博士研究生、創新工場實習生田元賀,創新工場大灣區人工智慧研究院執行院長宋彥,創新工場科研合夥人張潼,創新工場CTO兼人工智慧工程院執行院長王詠剛等人。
ACL(The Association for ComputationalLinguistics)國際計算語言學協會是自然語言處理領域影響力最大、最具活力的國際學術組織之一,自1962年創立以來已有58年歷史,其每年夏天舉辦的年會是該領域學術頂會。
與往年不同的是,受新冠疫情影響,ACL2020全部轉為線上進行,不過這絲毫沒有減弱熱度。根據之前公佈的資料,今年大會投稿數量超過3000篇,共接收 779 篇論文,包括 571 篇長論文和 208 篇短論文,接收率為 25.2%,在全球疫情衝擊下反而是有史以來最盛大的一屆ACL會議,創新工場的技術大牛們也頂著時差連續數晚熬夜參會。
▌利用記憶神經網路,將中文分詞性能刷到歷史新高
中文分詞目的是在中文的字序列中插入分隔符號,將其切分為詞。例如,“我喜歡音樂”將被切分為“我/喜歡/音樂”(“/”表示分隔符號)。
中文語言因其特殊性,在分詞時面臨著兩個主要難點。一是歧義問題,由於中文存在大量歧義,一般的分詞工具在切分句子時可能會出錯。例如,“部分居民生活水準”,其正確的切分應為“部分/居民/生活/水準”,但存在“分居”、“民生”等歧義詞。“他從小學電腦技術”,正確的分詞是:他/從小/學/電腦技術,但也存在“小學”這種歧義詞。
二是未登錄詞問題。未登錄詞指的是不在詞表,或者是模型在訓練的過程中沒有遇見過的詞。例如經濟、醫療、科技等科學領域的專業術語或者社交媒體上的新詞,或者是人名。這類問題在跨領域分詞任務中尤其明顯。
對此,《ImprovingChinese Word Segmentation with Wordhood Memory Networks》這篇論文提出了基於鍵-值記憶神經網路的中文分詞模型。
該模型利用n元組(即一個由連續n個字組成的序列,比如“居民”是一個2元組,“生活水準”是一個4元組)提供的每個字的構詞能力,通過加(降)權重實現特定語境下的歧義消解。並通過非監督方法構建詞表,實現對特定領域的未標注文本的利用,進而提升對未登錄詞的識別。
例如,在“部分居民生活水準”這句話中,到底有多少可能成為詞的組塊?單字可成詞,如“民”;每兩個字的組合可能成詞,如“居民”;甚至四個字的組合也可能成詞,例如“居民生活”。
把這些可能成詞的組合全部找到以後,加入到該分詞模型中。通過神經網路,學習哪些詞對於最後完整表達句意的幫助更大,進而分配不同的權重。像“部分”、“居民”、“生活”、“水準”這些詞都會被突出出來,但“分居”、“民生”這些詞就會被降權處理,從而預測出正確的結果。
在“他從小學電腦技術” 這句話中,對於有歧義的部分“從小學”(有“從/小學”和“從小/學”兩種分法),該模型能夠對“從小”和“學”分配更高的權重,而對錯誤的n元組——“小學”分配較低的權重。
為了檢驗該模型的分詞效果,論文進行了嚴格的標準實驗和跨領域實驗。
實驗結果顯示,該模型在5個資料集(MSR、PKU、AS、CityU、CTB6)上的表現,均達了最好的成績(F值越高,性能越好)。(注:所選擇的五個資料集是中文分詞領域目前全世界唯一通用的標準資料集)
創新工場大灣區人工智慧研究院執行院長宋彥表示,與前人的模型進行比較發現,該模型在所有資料集上的表現均超過了之前的工作,“把中文分詞領域廣泛使用的標準資料集上的性能全部刷到了新高。”
在跨領域實驗中,論文使用網路博客資料集(CTB7)測試。實驗結果顯示,在整體F值以及未登陸詞的召回率上都有比較大提升。
▌“雙通道注意力機制”,有效剔除“噪音”誤導
第二篇論文《Joint ChineseWord Segmentation and Part-of-speech Tagging via Two-way Attentions ofAuto-analyzed Knowledge》提供了一種基於雙通道注意力機制的分詞及詞性標注模型。
中文分詞和詞性標注是兩個不同的任務。詞性標注是在已經切分好的文本中,給每一個詞標注其所屬的詞類,例如動詞、名詞、代詞、形容詞。詞性標注對後續的句子理解有重要的作用。
在詞性標注中,歧義仍然是個老大難的問題。例如,對於“他要向全班同學報告書上的內容”中,“報告書”的正確的切分和標注應為“報告_VV/書_N”。但由於“報告書”本身也是一個常見詞,一般的工具可能會將其標注為“報告書_NN”。
句法標注本身需要大量的時間和人力成本。在以往的標注工作中,使用外部自動工具獲取句法知識是主流方法。在這種情況下,如果模型不能識別並正確處理帶有雜音的句法知識,很可能會被不準確的句法知識誤導,做出錯誤的預測。
例如,在句子“他馬上功夫很好”中,“馬”和“上”應該分開(正確的標注應為“馬_NN/上_NN”)。但按照一般的句法知識,卻可能得到不準確的切分及句法關係,如“馬上”。
針對這一問題,該論文提出了一個基於雙通道注意力機制的分詞及詞性標注模型。該模型將中文分詞和詞性標注視作聯合任務,可一體化完成。模型分別對自動獲取的上下文特徵和句法知識加權,預測每個字的分詞和詞性標籤,不同的上下文特徵和句法知識在各自所屬的注意力通道內進行比較、加權,從而識別特定語境下不同上下文特徵和句法知識的貢獻。
這樣一來,那些不準確的,對模型預測貢獻小的上下文特徵和句法知識就能被識別出來,並被分配小的權重,從而避免模型被這些有噪音的資訊誤導。
即便在自動獲取的句法知識不準確的時候,該模型仍能有效識別並利用這種知識。例如,將前文有歧義、句法知識不準確的句子(“他馬上功夫很好”),輸入該雙通道注意力模型後,便得到了正確的分詞和詞性標注結果。
為了測試該模型的性能,論文在一般領域和跨領域分別進行了實驗。
一般領域實驗結果顯示,該模型在5個資料集(CTB5,CTB6,CTB7,CTB9,Universal Dependencies)的表現(F值)均超過前人的工作,也大幅度超過了斯坦福大學的 CoreNLP 工具,和伯克利大學的句法分析器。
即使是在與CTB詞性標注規範不同的UD資料集中,該模型依然能吸收不同標注帶來的知識,並使用這種知識,得到更好的效果。
而在跨領域的實驗中,和斯坦福大學的CoreNLP 工具相比,該模型也有近10個百分點的提升。
▌主動引入和分辨知識,實現中文分詞技術突破
中文分詞在中國科研領域已經有幾十年的歷史。最初的中文分詞是基於詞典構建,詞典的好壞會直接影響到最後分析的效果。如果某個新詞在詞典裡沒有,那麼模型是死活都分不出來的。
這種方式的局限性還在於,詞典和分詞兩件事情中間始終有一條鴻溝,儘管詞典可以編撰得非常全面,但在處理分詞的時候,因為每一句話都有上下文語境,往往會產生多種不同的切分方法,從而無法有效地在當前語境下對分詞結構進行恰當的指導。
從2003年開始,分詞方法出現了新的突破。研究人員提出了打標籤的方式,通過給每一個字打詞首、詞尾、詞中的標籤,不再需要構建詞典,大幅度提升了未登錄詞的召回效果。
到了2014年左右,深度學習和神經網路開始被廣泛應用到中文分詞中,打標籤的模型從之前的淺層學習變成了深度學習,但演算法本質沒有發生變化,所以提升作用並不太大。
近兩年,學界開始研究怎麼在打標籤的過程中加入外部知識和資訊。創新工場的這兩篇文章就是沿著這個路徑,用記憶神經網路的方式記錄對分詞結果有影響的 n元組,並引入對詞性標注有影響的句法知識,將分詞結果和自動獲得的知識銜接起來,既發揮了神經網路的優勢,也把知識的優勢用上,實現了分詞技術上小而有效的改進和突破。
宋彥表示,“從技術創新的角度,我們的貢獻主要有兩點。一是在現有技術的基礎上,建立了一個一體化的模型框架,使用非監督方法構建詞表,並把知識(資訊)融入進來,使用更高層次的句法知識,來幫助詞性標注,起到'他山之石,可以攻玉’的效果。”
“二是主動吸收和分辨不同的外部知識(資訊)。通過鍵-值記憶神經網路和雙通道注意力機制,進行動態權重的分配,能夠有效分辨知識,區分哪些是有效的,哪些是無效的。雖然這些知識是自動獲取的、不準確的,但‘三個臭皮匠,頂個諸葛亮’,經過有效利用,總能湊出一些有用的資訊。如何實現模型的主動吸收和分辨,就變得更加重要。”
據瞭解,今年的ACL大會,在分詞領域一共收錄了18篇論文,創新工場人工智慧工程院同時有2篇入選,也表現出ACL官方對這一貢獻的認可。
▌具備跨領域分詞能力,提升工業應用效率
中文分詞和詞性標注是最底層的應用,對於接下來的應用和任務處理非常重要。例如對於文本分類、情感分析,文本摘要、機器翻譯等,分詞都是不可或缺的基本“元件”。
宋彥表示,做此項研究的目的是主要為了拓展其工業場景的應用,正確的分詞能夠平衡公司應用開發的效率和性能,同時方便人工干預及(預)後處理。
這也是創新工場人工智慧工程院的努力方向之一。工程院成立於2016年9月,宗旨是銜接科技創新和行業賦能,做嫁接科研和產業應用的橋樑,為行業改造業務流程、提升業務效率。
工程院下設北京總部、南京研究院和大灣區研究院。大灣區研究院再下設資訊感知和理解實驗室,專注于對自然語言處理(NLP)領域的研究。執行院長宋彥本人也有超過15年的NLP領域的科研經驗。
“在工業場景使用的時候,跨領域的模型能力是一個非常直接的訴求。”宋彥表示,在某個領域的訓練模型,大概率也需要應用到其他領域。
“如何在新領域缺少資料,或者新領域只有少量未標注資料的情況下,實現模型的冷開機,依然是項巨大的挑戰。如果能利用外部知識,提高模型性能,就能有效地召回很多在訓練集中沒有出現過的新詞。”
例如搜尋引擎的廣告系統,最初也是通過組詞匹配的方式,在某個特定領域訓練其分詞模型,但在進入一個新的領域時,例如從新聞領域進入醫療領域或體育領域,效果往往會大打折扣,甚至頻頻出錯。
而使用跨領域特性後,廣告系統在進入新領域時,便無需額外的資料,就可以對它進行比較準確的分詞和標注,從而有效匹配廣告和客戶,大大提升系統運行的效率和穩定性。
目前,這兩篇論文的工具都已經開源,在下面兩個連結中,可以找到對應的所有代碼和模型,各位朋友可按需自取:
分詞工具:https://github.com/SVAIGBA/WMSeg
分詞及詞性標注工具:https://github.com/SVAIGBA/TwASP