Google、軟銀都陣亡過!盤點 AI 專案失敗的 4 大原因
Posted on2021/02/04
若水AI Blog
【我們為什麼挑選這篇文章】為了適應未知多變的世界,許多企業搶做「數位轉型」,從公司營運的各層面如客戶體驗、商業模式、企業文化到作業流程等,透過科技的導入來提升效率與效能;而對製造業企業而言,原料採購、物流管理、庫存調配、生產、行銷等環節則是企業主進行數位轉型會優先考量的面向。
在這之中,AI 的運用扮演很關鍵的角色,如何將 AI 應用到上述各層面並實際執行,是許多企業面臨的挑戰,有哪些要點是執行 AI 專案時需特別留意的?(責任編輯:賴佩萱)
作者:若水 AI 資料資料處理部負責人 簡季婕
2020 年,突如其來的新冠肺炎疫情(Covid-19)改變了許多產業的命運,同時加速推促 AI 落地的速度,AI 人工智慧的應用將成為企業的新日常。
若水 AI 資料服務團隊本著為臺灣 AI 應用落地盡份心力的初衷,順著這波改變,推出全新系列內容:與機器學習(ML : Machine Learning)、AIOps 智慧運維(Artificial Intelligence for IT Operations)有關的實用文,分享各界專家在每一天如何持續營運、優化 AI 架構以及資料處理的基本功。
【若水導讀】AI 專案順利通關的三個絕招:
1. AI 資料來源要多元,避免學習偏誤
2. 標註前,請先建立客觀的 AI 資料標註(Data Annotation)原則
3. 讓 AI 人工智慧成為組織的共同語言,會更容易成功
企業都想做 AI,但實際上沒那麼簡單
根據《臺灣人工智慧學校 AI Academy Taiwan》2019 年針對臺灣各大產業 1,095 位業界校友的調查統計,成功導入 AI 人工智慧的臺灣企業僅占 20%。放眼國際,許多全球知名企業的 AI 專案也慘遭滑鐵盧:
Google 在泰國落地測試智慧醫療失敗,拖慢醫療流程;美國杜克大學發佈的 PULSE 演算法誤將歐巴馬的頭像還原為白人,引發種族歧視爭議。
在日本,軟銀(Softbank)社長孫正義原本打算以 AI 機器人取代銷售人員,沒想到 AI 機器人無法應付實際場域的複雜性,計畫負責人只好承認失敗:「我們把機器學習(Machine Learning)想得太簡單了」。
AI 專案難實際執行,問題出在哪?
若水經手過臺灣、日本超過 200 個的 AI 資料處理專案,從橫跨各大產業領域的專案經驗,整理出企業 AI 之所以無法順利落地的四大原因。
1. AI 模型訓練過程中沒有加入實際場域的資料
無論是剛導入 AI 而產生資料處理需求的新手企業,還是已有 AI 專案經驗、為了 retrain 模型再度找上若水的老手企業,都曾經在同一個地方卡關:AI 資料標註品質有做到位元,但 AI 模型卻無法應用落地 。
為什麼?
原因在於,客戶並未以「實際場景」的資料來進行 AI 模型訓練。
現在市面上有許多開放資料集(Open Dataset)或是免費的商用網路圖片,企業通常會優先使用這些免費資源進行 AI 資料標註(Data Annotation)讓機器學習,但是放到實際場域測試後,經常發現 AI 模型成效不佳,無法適用於實際場景,最終還是需要回過頭再進行第二次模型訓練(Model Training)。
因此 在 AI 專案開始前,建議企業首先需要在內部建立資料資料流(Data Pipeline),而在收集資料時,不只使用開放資料集(Open Dataset),也須確保有使用符合實際應用場景的資料來訓練 AI 模型,全盤考量資料類型、角度等多元性,避免機器學習偏誤 。
2. AI 資料標註原則定義不夠客觀
與企業工程師對接 AI 資料處理需求時,當我們詢問這批人臉辨識(Face Recognition)的 AI 資料標註的原則是什麼,常常會接到諸如此類的回答:「頭太小的話,就不要標註數據」。
一般人的邏輯覺得很合理的事情,對於機器學習(Machine Learning)來說卻是一大挑戰。 機器學習需要知道的是趨近「絕對客觀」的原則 ,例如,所謂的頭太大、太小,換算成具體數值會是幾乘幾大小的 pixel?如果圖片背景融色或模糊,也需要標註起來嗎?
一旦 AI 資料標註原則不夠客觀,AI 模型很容易隨著人的「主觀認定」來學習,當專案換了一位工程師,機器學習出來的效果可能也會跟著變 。在我們的經驗,原則的訂定最好透過「對話」,藉由反覆詰問,才能加快釐清目標。有了歸納、定義出客觀的 AI 資料標註原則。就會加快模型學習(Model Learning)成效。
為了清楚定義圖片融色或模糊的問題,我們採用國際照明委員會(International Commission on Illumination)訂定的 Delta E 標準,和影像(圖像)品質評估標準 BRISQUE,和客戶確認彼此認知是否一致。
根據國際標準,人的肉眼能分辨得出來的色差,至少會在 Delta E 值 2 以上。所以,當一張影像測出來 Delta E 值小於 2,就表示這張圖的融色程度太高,無法標註。
假如客戶希望「太模糊的圖片不要標註」,團隊也會根據 BRISQUE(影像品質評估標準)的標準,輸出不同模糊指數的圖片,請客戶確認所謂的模糊,具體來說是 70% 還是 80%。
3. AI 模型訓練(Model Training)沒有循序漸進
以肢體行為辨識(Posture Estimation)為例,Coco Dataset 從一開始只辨識人體 7 大主要關鍵點(Key Point),後來逐步發展成 25 點,甚至快 40 點,有些客戶會希望若水 AI 團隊可以一次就標註 40 個關鍵點,直接拿去機器學習(Machine Learning)。
說起來,機器學習和教小孩很像,一下子給太多的特徵點(Feature Points)反而會「揠苗助長」,導致 AI 模型學到最後分不清楚自己到底在學習什麼。我們也遇過有些客戶,一開始想用難度較高的 Segmentation 方式讓模型學習人的行為,但是人的行為百百種、語意切割(Segmentation)的變異度也高,就比較難學得好。
當這些客戶再回頭來找若水,通常會比較循序漸進,從小地方開始逐步改進 AI 模型。
4. 缺乏管理層的理解與支持
AI 熱潮讓許多企業趨之若鶩,然而 AI 要能夠順利落地,除了上述三項實務建議,企業管理層對於 AI 的認知和支持更是一大關鍵。
許多臺灣企業的 AI 數位轉型主導者,可能是傳統公司裡面有豐富資歷的 CTO 技術長或管理階層,對於 AI 人工智慧這個全新領域的概念,比較缺乏深度的理解,也沒有類似 AI 模型訓練和測試的相關經驗,從上述 4 個原因去追尋難以落地的根源,或許能有所助益。
資料來源:https://buzzorange.com/techorange/2021/02/04/ai-project-difficulties/?fbclid=IwAR04ZC1-1MquyCObEI5HIfTKtV-OkcfxL_R8vRin4YgQMl8cnhS_6aM59vU
同時也有1部Youtube影片,追蹤數超過6萬的網紅Herman Yeung,也在其Youtube影片中提到,M1 - Statistics Session 統計部分 Special Course (16小時的課程,完全免費) 由基礎直到教曬整個 M1 - Statistics Session 統計部分 當中包括︰ (1) Bayes' Theorem 貝葉斯定理 - 會教埋 Herman Yeung...
estimation統計 在 紀老師程式教學網 Facebook 的最佳貼文
【最。後。倒。數】5折優惠最後24小時!
#一聽就懂的Python機器學習,把握最後優惠►https://ps.yottau.net/SE32B
紀老師在程式補教界教學30餘年,慣用深入淺出的方式帶同學學習,這堂課將公開多年來的獨門教法!
▌10個機器學習演算法全解說
✅ 常見四大迴歸:簡單線性迴歸、多元線性迴歸、多項式迴歸、邏輯迴歸
✅ 單純貝氏分類器:說明貝氏定理、最大似然率估計(Max Likelihood Estimation, MLE)
✅ 支援向量機:說明支援向量機的原理、內核函數的原理與好處、以及支援向量機的五大參數等..
✅ 決策樹:透過介紹兩種決策樹演算法:ID3 與 CART,說明決策樹分類的背後原理
✅ 隨機森林:說明隨機森林的原理、與四大優點:能處理大量低關連的屬性、對缺失資料抗性良好、能產生「統計不偏」的訓練集、對離群值抗性較佳
✅ K 平均集群法:解釋「何謂集群演算法」外,也介紹了 K-平均法(K-Means)的原理。透過介紹 「K-Means++ 演算法」與「群內平方和(WCSS)」,教大家如何選擇適合的「初始值」與「最佳 K 值」到底是多少
學完這門課,不只機器學習的演算法由淺入深全掌握,還能自己完成一個 #股票趨勢預測系統!
對於課綱的設計,老師非常有信心~每個章節會搭配生活實例,大量課後作業讓你強勢練習!
----------------------------------
#一聽就懂的Python機器學習
課程滿滿30小時以上,超級豐富
募資期間購課只要2500元(原價4980元)錯過可惜!
📌 線上課程5折優惠,最後24小時 https://ps.yottau.net/SE32B
estimation統計 在 創業小聚 Meet Startup Facebook 的最佳解答
感謝 雲象科技aetherAI 即時的整理! #武漢肺炎 #防疫視同作戰
[武漢肺炎最新資訊整理 – 每日更新]
更新時間: 2020/2/3 12:10 pm
本文彙整武漢肺炎之國際疫情、病原特徵、傳染模式、臨床表現、及個人防疫措施等資訊,所彙整之資訊皆由公開且可追蹤之消息來源而來。如有謬誤,敬請留言指正。
武漢肺炎,或稱2019新型冠狀病毒肺炎,為2019年12月開始於中國武漢地區流行的新興傳染病。其病原為一新型冠狀病毒,名為2019-nCoV (2019 Novel Coronavirus) 。
[目前疫情 - 2020/2/2 ]
根據世界衛生組織 (World Health Organization,WHO)(參考資料1) 、台灣疾病管制署(參考資料2)以及中國大陸疾控中心所公布之資料(參考資料3),目前全球共有個17381確診案例,362例死亡。
台灣目前(2/1)累計通報1007名個案,含10名確診、829名排除、餘隔離檢驗中(91名初驗陰性、其餘待檢驗)。目前10名確診個案狀況穩定,持續住院隔離,醫院及地方衛生單位已依循相關處置流程進行疫情調查及接觸者追蹤等防治工作。10名確診個案接觸者總計486人,其中34人有症狀已通報(32例採驗陰性、2例檢驗中)。
依據中國大陸疾控中心通報及各省市區衛生健康委員會公布資料,中國大陸截至2月2日累計17205例新型冠狀病毒感染之肺炎確診,其中361例死亡,31省市區(不含港澳特別政區)皆有確診病例。
目前國際間除中國及台灣外,共累計166例確診,分別為泰國19例、香港15例、南韓12例、日本20例(5例無症狀帶原)、澳門8例、新加坡18例、馬來西亞8例、澳洲12例、德國8例、法國6例、英國2例、義大利2例、西班牙1例、芬蘭1例、瑞典1例、美國8例、加拿大4例、越南7例、尼泊爾1例、柬埔寨1例、斯里蘭卡1例,阿拉伯聯合大公國5例、印度2例、菲律賓2例(1例死亡)、俄羅斯2例。
[臨床表徵]
根據中國金銀潭醫院對於最早期41個病例的報導(參考資料4),武漢肺炎常見的症狀為發燒(98%),咳嗽(76%),肌肉痠痛或倦怠感(44%),較少見的症狀為有痰(28%),頭痛(8%),咳血( 5%),腹瀉(3%)。有55%的病患會有呼吸困難。2019-CoV的潛伏期(從被感染到有症狀)為2-10天。從症狀開始到呼吸困難(dyspnea)的中位數為8天,到呼吸窘迫(Acute respiratory distress syndrome, ARDS)為9天,到插管以呼吸器協助呼吸為10.5天,到住進加護病房則為10.5天。依目前全球統計數續來說,2019-nCoV的致死率為2.08%,低於SARS的11%,以及MERS的37%。
[武漢肺炎病原]
武漢肺炎的病原為一新型冠狀病毒,命名為2019-nCoV (2019 Novel Coronavirus)。2019-nCoV為beta coronavirus,基因序列全長29891核苷酸(參考資料6)。其基因序列和SARSr-CoV BJ01有79.5%相同,和蝙蝠冠狀病毒BatCoV RaTg13 有96.2%相同(參考資料7)。根基於基因序列的分析,研究人員推測2019-nCoV的中間宿主可能為蛇類(參考資料8),然此結論並無實驗室證據支持,有專家質疑此研究結果(參考資料9)。
2019-nCoV在環境中的穩定性仍然未知。之前對於SARS-CoV所做的研究(參考資料13)顯示,和常見的人類冠狀病毒 HCoV-229E相比,SARS-CoV在環境中的穩定度高上許多。在常溫液體中,有活性的HCoV-229E在48小時內濃度下降一百倍,而SARS-CoV的濃度降低不到五倍。2019-nCoV和SARS-CoV同屬beta coronovirus, 然而2019-nCoV傳染力更高,推測其在環境中穩定度高於SARS-CoV。然而,70% 的酒精(30秒處理病毒濃度下降一千倍)以及6%的醋酸(60秒處理病毒濃度下降一千倍)均可以有效的將 SARS-CoV去活性。
[傳染途徑]
2019-nCoV可以在人和人之間傳染。人與人之間的傳染途徑主要是透過直接接觸,飛沫,以及汙染物(fomite,沾有病毒顆粒之物體)。中國國家衛生及健康委員會主任馬曉偉指出(參考資料5),依中國目前的資料看來,2019-nCoV病毒在潛伏期亦有傳染性。WHO亦指出(參考資料1),在中國以外,有三例確診案例在症狀顯現之前,就已經偵測到2019-nCoV病毒的存在,亦即在這些病患在潛伏期已經具有傳染力。
[傳染力]
流行病學家以基礎再生數(Basic Reproduction Number, R0)來衡量一個傳染病源的傳染力。R0代表的是一個病患在染病的過程當中平均感染的新個體數。如果R0大於1,傳染病會持續擴散。R0越大,代表傳染力越強。從目前的數據看來,2019-nCoV的R0約為3.3 - 5.5(參考資料10),高於SARS的2.2-3.6(參考資料11),以及季節性流行性感冒的1.19-1.37(參考資料12),然而低於德國麻疹的12-18(參考資料12)。
[個人防疫措施]
1. 勤以肥皂或以酒精為基礎之洗手液洗手。避免在手部未清潔之狀況下接觸眼、口、鼻。
2. 咳嗽或打噴嚏時遮蓋口鼻,避免飛沫噴濺。立即丟棄沾有分泌物的衛生紙並洗手。有持續咳嗽的症狀要配戴口罩。
3. 自中國返台14日內若有不適,撥打1922依指示就醫,並務必主動告知旅遊史。
4. 避免與有咳嗽及發燒等症狀之病患近距離接觸。
5. 避免出入醫療場所等人多場所。
6. 避免接觸野生動物及禽鳥。
[參考資料]
1. WHO Situation Report on 2019-nCoV
https://www.who.int/…/novel-coronavirus-…/situation-reports/
2. 疾病管制署新新聞稿
https://www.cdc.gov.tw/Bulle…/Detail/1T3s2mxcCjqlE0MczXRD8w…
3. 中國疾病預防控制中心網頁
4. 刊載在Lancet,第一篇關於2019-nCoV-nCoV 臨床表現的報導
https://www.thelancet.com/…/PIIS0140-6736(20)30183…/fulltext
5. 中國國務院新聞發布會
http://www.scio.gov.cn/x…/xwbfbh/wqfbh/42311/42478/index.htm
6. 2019-nCoV 完整基因組
https://www.ncbi.nlm.nih.gov/nuccore/MN908947
7. Discovery of a novel coronavirus associated with the recent pneumonia outbreak in humans and its potential bat origin
https://www.biorxiv.org/content/10.1101/2020.01.22.914952v2
8. Homologous recombination within the spike glycoprotein of the newly identified coronavirus may boost cross‐species transmission from snake to human
https://onlinelibrary.wiley.com/doi/10.1002/jmv.25682
9. Why snakes probably aren’t spreading the new China virus
https://www.nature.com/articles/d41586-020-00180-8
10. Preliminary estimation of the basic reproduction number of novel coronavirus (2019-nCoV)
https://www.biorxiv.org/content/10.1101/2020.01.23.916395v1
11. Transmission Dynamics and Control of Severe Acute Respiratory Syndrome
https://www.ncbi.nlm.nih.gov/pmc/articles/PMC2760158
12. Estimates of the reproduction number for seasonal, pandemic, and zoonotic influenza
https://bmcinfectdis.biomedcentral.com/…/1…/1471-2334-14-480
13. Stability and inactivation of SARS coronavirus https://link.springer.com/artic…/10.1007%2Fs00430-004-0219-0
14日本厚生勞動省武漢肺炎疫情專頁 https://www.mhlw.go.jp/…/seisak…/bunya/0000164708_00001.html
estimation統計 在 Herman Yeung Youtube 的精選貼文
M1 - Statistics Session 統計部分 Special Course
(16小時的課程,完全免費)
由基礎直到教曬整個 M1 - Statistics Session 統計部分
當中包括︰
(1) Bayes' Theorem 貝葉斯定理
- 會教埋 Herman Yeung 獨創的 "反 Tree Diagram"
(2) Normal Distribution 正態分佈
- 由零教到識做曬所有 Maths & Statistics 長題目
(3) 4 Distribution 四大分佈
- Poisson, Geometry, Binomial Distribution 泊松、幾何、二項分佈,教您如何分辦幾時用邊個 distribution 及如何應付 Maths & Statistics 長題目
(4) Point & Interval Estimation 點與間距估計
- 大量 Herman Yeung 自製的題目介紹呢個課題目不同的題型,亦有解釋當中的原理
16小時的課程令未學、學緊、或者學完都想 drop 的您脫胎換骨
每日8小時,兩天就可以曉行曉飛,學識左一半 M1 的 DSE syllabus
學費︰以前千幾蚊,而家 "全免"
筆記下載︰
https://hermanutube.blogspot.hk/2016/01/youtube-pdf.html
當中的 23 ~ 25 點
課堂內容︰
https://www.youtube.com/playlist?list=PLzDe9mOi1K8rJlKc-33LkkVZGpHr3Q_3f
------------------------------------------------------------------
HKDSE Mathematics 數學天書 訂購表格及方法︰
http://goo.gl/forms/NgqVAfMVB9
------------------------------------------------------------------
YouTube 網上教學平台 : http://www.youtube.com/HermanYeung
Herman Yeung Blogger : https://goo.gl/SBmVOO
Herman Yeung Instagram : https://www.instagram.com/hermanyeung_hy
![post-title](https://i.ytimg.com/vi/_WnCfxYgsFU/hqdefault.jpg)
estimation統計 在 統計學(一) 筆記- 第八章區間估計(Interval Estimation) 的推薦與評價
... Estimate 多靠近母體參數。 母體參數我們要詢問母體的某一件事,每一個人都必須適用,且通常都是判斷有或沒有,例如判斷所有的學生們有沒有統計都 ... ... <看更多>