創新工場“AI蒙汗藥”入選NeurIPS 2019,3年VC+AI佈局進入科研收穫季
本文來自量子位微信公眾號
……………………………………………………………………
NeurIPS 2019放榜,創新工場AI工程院論文在列。
名為“Learning to Confuse: Generating Training Time Adversarial Data with Auto-Encoder”。
一作是創新工場南京國際AI研究院執行院長馮霽,二作是創新工場南京國際人工智慧研究院研究員蔡其志,南京大學AI大牛周志華教授也在作者列。
論文提出了一種高效生成對抗訓練樣本的方法DeepConfuse,通過微弱擾動資料庫的方式,徹底破壞對應的學習系統的性能,達到“資料下毒”的目的。
創新工場介紹稱,這一研究就並不單單是為了揭示類似的AI入侵或攻擊技術對系統安全的威脅,還能協助針對性地制定防範“AI駭客”的完善方案,推動AI安全攻防領域的發展。
NeurIPS,全稱神經資訊處理系統大會(Conference and Workshop on Neural Information Processing Systems),自1987年誕生至今已有32年的歷史,一直以來備受學術界和產業界的高度關注,是AI學術領域的“華山論劍”。
作為AI領域頂會,NeurIPS也是最火爆的那個,去年會議門票在數分鐘內被搶光,而且在論文的投稿錄取上,競爭同樣激烈。
今年,NeurIPS會議的論文投稿量再創新高,共收到6743篇投稿,最終錄取1428篇論文,錄取率為21.2%。
▌“資料下毒”論文入選頂會NeurIPS
那這次創新工場AI工程院這篇入選論文,核心議題是什麼?
我們先拆解說說。
近年來,機器學習熱度不斷攀升,並逐漸在不同應用領域解決各式各樣的問題。不過,卻很少有人意識到,其實機器學習本身也很容易受到攻擊,模型並非想像中堅不可摧。
例如,在訓練(學習階段)或是預測(推理階段)這兩個過程中,機器學習模型就都有可能被對手攻擊,而攻擊的手段也是多種多樣。
創新工場AI工程院為此專門成立了AI安全實驗室,針對人工智慧系統的安全性進行了深入對評估和研究。
在被NeurIPS收錄的論文中,核心貢獻就是提出了高效生成對抗訓練資料的最先進方法之一——DeepConfuse。
▌給數據下毒
通過劫持神經網路的訓練過程,教會雜訊生成器為訓練樣本添加一個有界的擾動,使得該訓練樣本訓練得到的機器學習模型在面對測試樣本時的泛化能力盡可能地差,非常巧妙地實現了“資料下毒”。
顧名思義,“資料下毒”即讓訓練資料“中毒”,具體的攻擊策略是通過干擾模型的訓練過程,對其完整性造成影響,進而讓模型的後續預測過程出現偏差。
“資料下毒”與常見的“對抗樣本攻擊”是不同的攻擊手段,存在於不同的威脅場景:前者通過修改訓練資料讓模型“中毒”,後者通過修改待測試的樣本讓模型“受騙”。
舉例來說,假如一家從事機器人視覺技術開發的公司希望訓練機器人識別現實場景中的器物、人員、車輛等,卻不慎被入侵者利用論文中提及的方法篡改了訓練資料。
研發人員在目視檢查訓練資料時,通常不會感知到異常(因為使資料“中毒”的噪音資料在圖像層面很難被肉眼識別),訓練過程也一如既往地順利。
但這時訓練出來的深度學習模型在泛化能力上會大幅退化,用這樣的模型驅動的機器人在真實場景中會徹底“懵圈”,陷入什麼也認不出的尷尬境地。
更有甚者,攻擊者還可以精心調整“下毒”時所用的噪音資料,使得訓練出來的機器人視覺模型“故意認錯”某些東西,比如將障礙認成是通路,或將危險場景標記成安全場景等。
為了達成這一目的,這篇論文設計了一種可以生成對抗雜訊的自編碼器神經網路DeepConfuse。
通過觀察一個假想分類器的訓練過程更新自己的權重,產生“有毒性”的雜訊,從而為“受害的”分類器帶來最低下的泛化效率,而這個過程可以被歸結為一個具有非線性等式約束的非凸優化問題。
▌下毒無痕,毒性不小
從實驗資料可以發現,在MNIST、CIFAR-10以及縮減版的IMAGENET這些不同資料集上,使用“未被下毒”的訓練資料集和“中毒”的訓練資料集所訓練的系統模型在分類精度上存在較大的差異,效果非常可觀。
與此同時,從實驗結果來看,該方法生成的對抗雜訊具有通用性,即便是在隨機森林和支援向量機這些非神經網路上也有較好表現。
其中,藍色為使用“未被下毒”的訓練資料訓練出的模型在泛化能力上的測試表現,橙色為使用“中毒”訓練資料訓練出的模型的在泛化能力上的測試表現。
在CIFAR和IMAGENET資料集上的表現也具有相似效果,證明該方法所產生的對抗訓練樣本在不同的網路結構上具有很高的遷移能力。
此外,論文中提出的方法還能有效擴展至針對特定標籤的情形下,即攻擊者希望通過一些預先指定的規則使模型分類錯誤,例如將“貓”錯誤分類成“狗”,讓模型按照攻擊者計畫,定向發生錯誤。
例如,下圖為MINIST資料集上,不同場景下測試集上混淆矩陣的表現,分別為乾淨訓練資料集、無特定標籤的訓練資料集、以及有特定標籤的訓練資料集。
實驗結果有力證明,為有特定標籤的訓練資料集做相應設置的有效性,未來有機會通過修改設置以實現更多特定的任務。
對資料“下毒”技術的研究並不單單是為了揭示類似的AI入侵或攻擊技術對系統安全的威脅,更重要的是,只有深入研究相關的入侵或攻擊技術,才能有針對性地制定防範“AI駭客”的完善方案。
隨著AI演算法、AI系統在國計民生相關的領域逐漸得到普及與推廣,科研人員必須透徹地掌握AI安全攻防的前沿技術,並有針對性地為自動駕駛、AI輔助醫療、AI輔助投資等涉及生命安全、財富安全的領域研發最有效的防護手段。
▌還關注聯邦學習
除了安全問題之外,人工智慧應用的資料隱私問題,也是創新工場AI安全實驗室重點關注的議題之一。
近年來,隨著人工智慧技術的高速發展,社會各界對隱私保護及資料安全的需求加強,聯邦學習技術應運而生,並開始越來越多地受到學術界和工業界的關注。
具體而言,聯邦學習系統是一個分散式的具有多個參與者的機器學習框架,每一個聯邦學習的參與者不需要與其餘幾方共用自己的訓練資料,但仍然能利用其餘幾方參與者提供的資訊更好的訓練聯合模型。
換言之,各方可以在在不共用資料的情況下,共用資料產生的知識,達到共贏。
創新工場AI工程院也十分看好聯邦學習技術的巨大應用潛力。
今年3月,“Learning to Confuse: Generating Training Time Adversarial Data with Auto-Encoder”論文的作者、創新工場南京國際人工智慧研究院執行院長馮霽代表創新工場當選為IEEE聯邦學習標準制定委員會副主席,著手推進制定AI協同及大資料安全領域首個國際標準。
創新工場也將成為聯邦學習這一技術“立法”的直接參與者。
▌創新工場AI工程院科研成績單
創新工場憑藉獨特的VC+AI(風險投資與AI研發相結合)的架構,致力於扮演前沿科研與AI商業化之間的橋樑角色。
創新工場2019年廣泛開展科研合作,與其他國際科研機構合作的論文,入選多項國際頂級會議,除上述介紹的“資料下毒”論文入選NeurlPS之外,還有8篇收錄至五大學術頂會,涉及影像處理、自動駕駛、自然語言處理、金融AI和區塊鏈等方向。
┃兩篇論文入選ICCV
Disentangling Propagation and Generation for Video Prediction
https://arxiv.org/abs/1812.00452
這篇論文的主要工作圍繞一個視頻預測的任務展開,即在一個視頻中,給定前幾幀的圖片預測接下來的一幀或多幀的圖片。
Joint Monocular 3D Vehicle Detection and Tracking
https://arxiv.org/abs/1811.10742
這篇論文提出了一種全新的線上三維車輛檢測與跟蹤的聯合框架,不僅能隨著時間關聯車輛的檢測結果,同時可以利用單目攝像機獲取的二維移動資訊估計三維的車輛資訊。
┃一篇論文入選IROS
Monocular Plan View Networks for Autonomous Driving
http://arxiv.org/abs/1905.06937
針對端到端的控制學習問題提出了一個對當前觀察的視角轉換,將其稱之為規劃視角,它把將當前的觀察視角轉化至一個鳥瞰視角。具體的,在自動駕駛的問題下,在第一人稱視角中檢測行人和車輛並將其投影至一個俯瞰視角。
┃三篇論文入選EMNLP
Multiplex Word Embeddings for Selectional Preference Acquisition
提出了一種multiplex詞向量模型。在該模型中,對於每個詞而言,其向量包含兩部分,主向量和關係向量,其中主向量代表總體語義,關係向量用於表達這個詞在不同關係上的特徵,每個詞的最終向量由這兩種向量融合得到。
What You See is What You Get: Visual Pronoun Coreference Resolution in Dialogues
https://assert.pub/papers/1909.00421
提出了一個新模型(VisCoref)及一個配套資料集(VisPro),用以研究如何將代詞指代與視覺資訊進行整合。
Reading Like HER: Human Reading Inspired Extractive Summarization
人類通過閱讀進行文本語義的摘要總結大體上可以分為兩個階段:1)通過粗略地閱讀獲取文本的概要資訊,2)進而進行細緻的閱讀選取關鍵句子形成摘要。
本文提出一種新的抽取式摘要方法來模擬以上兩個階段,該方法將文檔抽取式摘要形式化為一個帶有上下文的多臂老虎機問題,並採用策略梯度方法來求解。
┃一篇論文入選IEEE TVCG
sPortfolio: Stratified Visual Analysis of Stock Portfolios
https://www.ncbi.nlm.nih.gov/pubmed/31443006
主要是對於金融市場中的投資組合和多因數模型進行可視分析的研究。通過三個方面的分析任務來幫助投資者進行日常分析並升決策準確性。
並提出了一個全新的視覺化分析系統sPortfolio,它允許使用者根據持倉,因數和歷史策略來觀察投資組合的市場。sPortfolio提供了四個良好協調的視圖。
┃一篇論文入選NSDI
Monoxide: Scale Out Blockchain with Asynchronized Consensus Zones
https://www.usenix.org/system/files/nsdi19-wang-jiaping.pdf
提出了一種名為非同步共識組 Monoxide 的區塊鏈擴容方案,可以在由 4.8 萬個全球節點組成的測試環境中,實現比比特幣網路高出 1000 倍的每秒交易處理量,以及 2000 倍的狀態記憶體容量,有望打破“不可能三角”這個長期困擾區塊鏈性能的瓶頸。
▌獨特的“科研助推商業”思路
國內VC,發表論文都很少見,為什麼創新工場如此做?
這背後在於其“VC+AI”模式。
最獨特之處在于,創新工場的AI工程院可以通過廣泛的科研合作以及自身的科研團隊,密切跟蹤前沿科研領域裡最有可能轉變為未來商業價值的科研方向。
這種“科研助推商業”的思路力圖儘早發現有未來商業價值的學術研究,然後在保護各方智慧財產權和商業利益的前提下積極與相關科研方開展合作。
同時,由AI工程院的產品研發團隊嘗試該項技術在不同商業場景裡可能的產品方向、研發產品原型,並由商務拓展團隊推動產品在真實商業領域的落地測試,繼而可以為創新工場的風險投資團隊帶來早期識別、投資高價值賽道的寶貴機會。
“科研助推商業”並不是簡單地尋找有前景的科研專案,而是將技術跟蹤、人才跟蹤、實驗室合作、智慧財產權合作、技術轉化、原型產品快速反覆運算、商務拓展、財務投資等多維度的工作整合在一個統一的資源體系內,用市場價值為導向,有計劃地銜接學術科研與商業實踐。
以AI為代表的高新技術目前正進入商業落地優先的深入發展期,產業大環境亟需前沿科研技術與實際商業場景的有機結合。
創新工場憑藉在風險投資領域積累的豐富經驗,以及在創辦AI工程院的過程中積累的技術人才優勢,特別適合扮演科研與商業化之間的橋樑角色。
於是,創新工場AI工程院也就順勢而生。
創新工場人工智慧工程院成立於2016年9月,以“科研+工程實驗室”模式,規劃研發方向,組建研發團隊。
目前已經設有醫療AI、機器人、機器學習理論、計算金融、電腦感知等面向前沿科技與應用方向的研發實驗室,還先後設立了創新工場南京國際人工智慧研究院、創新工場大灣區人工智慧研究院。
目標是培養人工智慧高端科研與工程人才,研發以機器學習為核心的前沿人工智慧技術,並同各行業領域相結合,為行業場景提供一流的產品和解決方案。
而且, 創新工場還與國內外著名的科研機構廣泛開展科研合作。
例如,今年3月20日,香港科技大學和創新工場宣佈成立電腦感知與智慧控制聯合實驗室(Computer Perception and Intelligent Control Lab)。
此外,創新工場也積極參與了國際相關的技術標準制定工作。例如,今年8月,第28屆國際人工智慧聯合會議(IJCAI)在中國澳門隆重舉辦,期間召開了IEEE P3652.1(聯邦學習基礎架構與應用)標準工作組第三次會議。
IEEE聯邦學習標準由微眾銀行發起,創新工場等數十家國際和國內科技公司參與,是國際上首個針對人工智慧協同技術框架訂立標準的專案。
創新工場表示,自身的科研團隊將深度參與到聯邦學習標準的制定過程中,希望為AI技術在真實場景下的安全性、可用性以及保護資料安全、保護使用者隱私貢獻自己的力量。
同時也有10000部Youtube影片,追蹤數超過2,910的網紅コバにゃんチャンネル,也在其Youtube影片中提到,...
「駭 客 任務 矩陣」的推薦目錄:
- 關於駭 客 任務 矩陣 在 李開復 Kai-Fu Lee Facebook 的精選貼文
- 關於駭 客 任務 矩陣 在 Gavin職場英文 Facebook 的精選貼文
- 關於駭 客 任務 矩陣 在 io Facebook 的精選貼文
- 關於駭 客 任務 矩陣 在 コバにゃんチャンネル Youtube 的最佳解答
- 關於駭 客 任務 矩陣 在 大象中醫 Youtube 的精選貼文
- 關於駭 客 任務 矩陣 在 大象中醫 Youtube 的精選貼文
- 關於駭 客 任務 矩陣 在 [普雷] 駭客任務復活導演不想拍就下去- 看板movie 的評價
- 關於駭 客 任務 矩陣 在 駭客任務片名的秘密!知道「這個」你就可以預測未來!【數感 ... 的評價
- 關於駭 客 任務 矩陣 在 2022光織影舞「宇宙之巔」 讓你一秒變身駭客任務主角 的評價
駭 客 任務 矩陣 在 Gavin職場英文 Facebook 的精選貼文
滿有趣的,矩陣英語單字練習法
駭 客 任務 矩陣 在 io Facebook 的精選貼文
#矩陣
我大學在溫哥華念的是電腦科學(Computer Science)
經常運用到 Matrix(矩陣) 這玩意兒
深深覺得那真是一種非常酷的數學工具與概念
而電腦科學學系畢業的人回到台灣做音樂
不算太衝突 但也非一般人會預料發生的事就是
更何況還通過了CFA的一級測驗
身為一團什麼都自己來的樂團
總是會有人問道 歌曲的創作方法或靈感來源
通常我都沒有太多故事可以敘述
所以你一定聽我說過:#想要寫出好聽的歌所以就這樣寫出來了
可能因為腦子裡有一半裝的是布林邏輯與程式語言
無法用漂亮的文字包裝自己的想法來動之以情
所以為省事就乾脆不說了 (太理性說明時會冷場 像現在)
也可能是覺得已經越少人認真探究創作者的心和腦袋了
當然
只用你的心和腦袋去感受我的歌曲也沒有不對甚至更好
所謂的尋找共鳴 相遇知音
但其實我也願意提供一些思緒軌跡讓你“參考”
循著這些軌跡
如果能讓你更認識我 我們的作品
那就好了
想要寫出好聽的歌 所以就這樣寫出來了
#好聽
主要是用聽覺去發展
用聲音元素去構成
作曲 編曲
甚至是寫詞時運用適合音調的文字重要過華麗的文字表現
哪個旋律 哪層頻率
我學電腦科學的 我是用理性的方式去建構感性的傳達
只是後來
我也學會利用文字 來表達我的腦袋我的心
確實 我都是從音樂中找力量的
所以我也想為你這麼做
「人會迷信,來自恐懼;人要相信,才會無懼。」
還記得這句文案嗎
它出現在暌違三年的專輯首波主打
三年
能發生很多 能改變很多
能擁有很多 失去很多
什麼時候開始發現 我們被現實恐嚇著裹足不前
什麼時候開始面對 只有自己能為自己勇往直前
延續了上一張專輯的歌曲 “到頭來瘋的難道是我?”
反反覆覆什麼是對與錯?
對所謂的 真實 懷疑
對自己存在的世界 懷疑
甚至對自己的存在 懷疑
therefore 我思故我在
或許這次 就在笛卡爾的理論中找到了解答?
#我思故我在
起源就是想要有ㄧ首 6 Minor 的歌
是的 我剛說過 很多時候 我們的創作單純是以聽覺為前提
這幾年 Minor 的歌不多 所以就寫了
編曲想要 Urban 同時保有樂團和搖滾的態度
#所以就寫了
我和Angus隨著歌曲概念氛圍共同創作
寫著寫著我想到了#TheMatrix (駭客任務) 這部電影
想著
如果人持續沈淪在自己的主觀裡
會不會其實所謂現實世界如同 The Matrix
只是系統施予大腦的投影
是真亦是假 被操控著
當你開始懷疑 開始追尋
therefore 我思故我在
想著
如果這首歌的鼓聲能撼搖你對現實的迷惘
我希望Angus io樂團 能唱出你的堅強
像電影中Morpheus要讓Neo知道信念是多麼強大的力量
高樓也能一躍而過
「You have to let it all go, Neo.
Fear, Doubt, Disbelieving.
Free your mind.」
好吧 如果你還記得劇情
你就會知道當時的Neo的第一躍並沒成功
但其實也不用再多介紹電影中的故事情節
Neo最後是否成了救世主也不是重點
重點是
可能或不可能 最終都是因為自己
therefore 我思故我在
想要寫出好聽的歌 所以就這樣寫出來了
這個回答 現在還是優先存在
只是回來台灣也八年了
當我們更專注在音樂作品完美地呈現之時
即使仍舊沒有繁文縟節的華麗文字
隨著旋律使用文字將情感的傳遞
我們也越拌越深...
你說我對音樂的堅持是什麼?
在幾乎要交母帶的兩周前
我突來的靈感把這首歌的編曲重新改過
然後
它就從原本不在前一二三四首主打考量的排名中
一躍而上成為第一主打
成為三年後 我們要你聽到的第一首歌
還好
專輯歌曲的選定架構一致
企劃文案不用重新來過
反而更加堅固了專輯的結構
我想 不止你我
歌曲本人一定沒料到會有這樣的際遇
所以說
世事哪有絕對
只有你相不相信有無限可能
願不願意堅持到最後一秒鐘
相不相信你能做到
#做到最好
後記/
電腦科學學系的人做音樂
還是巧妙使用到了Matrix
這也算另類學以致用了(笑
Hans 2016 June.
#DoItForio #DoItForioIII #ioIII創作解析
#io我思故我在 #宅系搖滾
https://youtu.be/qK3d8N1y2VM
駭 客 任務 矩陣 在 コバにゃんチャンネル Youtube 的最佳解答
駭 客 任務 矩陣 在 大象中醫 Youtube 的精選貼文
駭 客 任務 矩陣 在 大象中醫 Youtube 的精選貼文
駭 客 任務 矩陣 在 駭客任務片名的秘密!知道「這個」你就可以預測未來!【數感 ... 的推薦與評價
在睽違十幾年後, 駭客任務 三部曲後,最新一集,就要在今年底上映了! ... 說的確如此)但這部電影的原文名稱,是「Matrix」也就是「 矩陣 」的意思。 ... <看更多>
駭 客 任務 矩陣 在 2022光織影舞「宇宙之巔」 讓你一秒變身駭客任務主角 的推薦與評價
6K views, 60 likes, 2 loves, 1 comments, 52 shares, Facebook Watch Videos from 嘉市好旅行: #2022光織影舞#倒數3天- 小編曝光活動第二大亮點「# ... ... <看更多>
駭 客 任務 矩陣 在 [普雷] 駭客任務復活導演不想拍就下去- 看板movie 的推薦與評價
雷文防雷資訊頁
基本上我覺得在家看就好
IMAX 460非常不值
如果蜘蛛人無家日是寫給粉絲的情書
這個駭客任務復活,就像是逼退粉絲的分手信
~*-*~*-*~*-*~*-*~*-*~*-*~*-*~*-*~*-*~*-*~*-*~*-*~
~~~~~~~~~~~~~~~~~~~ 雷文 主文分隔線 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
基本上我覺得劇本寫的是不差的
.
.
.
.
.
.
無論是劇情主體與世界觀的擴充,可以算是很紮實
可惜就像規格書寫的很好
卻找到了自High老鳥寫了超爛code把整個產品搞爛
而且這老鳥交出成品後就提離職
根本就是不負責任的爛咖
劇本前半段其實試圖混淆1-3集也許是假的概念
讓觀眾可能一時分不清接下來是表達有第四面牆要打破
或是會往觀眾已知的世界前進
但最終仍是Neo被鎖在the matrix的夢境之中
在這段Neo懷疑人生的過程中,導演一直穿插不想拍這部電影的心情
那我覺得她當初為何要接下這個case
也許可能就像片尾彩蛋
導演想要親手結束這個IP
不過華納還給這個過關上映,是到底有沒有內部審片,令人大吃一驚
接下來Neo就重生回真實世界了
然後進入主線 --> 救回trinity
在過程中其實都清楚交待了為何復活了男女主角
也有擴大其世界觀,也就是機器內戰
並且將派系分成 機器 vs 人類+機器
所以在基本劇情架構上,其實是很容易可以拍出好雷的
不過除了劇情,其他全部炸鍋
- 爛到笑的特效,但看起來也不像沒錢,因為機器世界的特效可以看出不便宜
- 全部的動作場面設計炸鍋,不然配上文戲,這部不是好雷就是神作
- 導演一直插入不想拍的對白
- 還有奇怪的笑點,哈囉我不是在看驚聲尖笑耶,Neo飛不起來不用這樣表演啦
這部駭客任務IP應該短期內不會再延伸出新作品了
雖然可以發揮的地方比star wars多非常多
但畢竟IP還掛在華納下
希望有一天可以賣給Sony或迪士尼
唉有夠慘
但還是給普雷啦
對於the matrix fans就是大爛雷
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.44.42.147 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/movie/M.1640172839.A.92E.html
就是想毀了這個IP沒錯啊
劇中不只一次講到可有可無的續作梗
※ 編輯: takasaki (114.44.42.147 臺灣), 12/22/2021 20:24:49
... <看更多>