AI的未來?你不能不認識的人工智慧與資料科學自動化技術—AutoML(2/10)
一、資料前處理(Data Pre-processing)
資料前處理是機器學習過程中的重要步驟。資料收集方法通常比較寬鬆、缺乏控制,導致收集到的值超出範圍或不合邏輯(例如,收入出現-100),不可能的資料組合(例如,「性別:男性」加上「懷孕:是」的組合)以及缺失值(missing value)等。未經仔細篩選此類問題可能會產生誤導性結果。因此,在進行分析之前,資料的表示形式和品質是首要確認的目標。一般來說,資料前處理是機器學習項目中最重要的階段。
如果存在大量不相關和多餘的訊息,或者存在噪音(noisy)且不可靠的資料,則在訓練階段發現知識將變得更加困難。資料準備和過濾的步驟可能會花費大量的處理時間。資料前處理包括清理(cleaning)、實例選擇(instance selection)、標準化(normalization)、轉換(transformation)、特徵提取和選擇(feature extraction and selection)等。資料前處理的產出是最終的訓練集。MLBox(machine learning box)AutoML套件就提供了許多資料前處理的功能,甚至提供具高穩健性的特徵選擇與資料洩漏(data leakage,意旨資料特徵與預測目標之因果關係的瑕疵,導致得到非常好的預測結果)偵測功能。
特徵提取feature extraction 在 辣媽英文天后 林俐 Carol Facebook 的精選貼文
感謝東吳巨量資料學院的胡學長,貢獻了大數據英文用語的part 2囉!
這次胡學長focus在「機器學習篇」,以及介紹三個因為機器學習出現而發展非常快速的領域,分別是「文字」、「影像」和「音訊」。
大家不用覺得機器學習離我們很遙遠,像是youtube的推薦系統、google翻譯以及siri的背後通通都是使用機器學習的演算法哦!而且其實概念並不難,有興趣的孩子可以多探究!
——————————————————
🤖 胡哥+俐媽英文教室—機器學習篇 machine learning:
1️⃣ <機器學習四大類別>
* supervised learning 監督式學習
* semi-supervised learning 半監督式學習
* unsupervised learning 非監督式學習
* reinforcement learning 強化學習
2️⃣ <常見用語>
* cluster 分群
* classification 分類
* regression 迴歸
* model 模型
* parameter 參數
* predict 預測
* accuracy 準確率
* overfitting 過度擬合
* feature 特徵欄位
* label 目標欄位
* training data 訓練資料
* testing data 測試資料
* validation data 驗證資料
* standardization 資料標準化
* feature extraction 特徵提取
* dimension reduction 資料降維
3️⃣ <文字分析>
* text mining 文字探勘
* natural language process 自然語言處理
* text categorization 文本分類
* information retrieval 資訊檢索
* word segmentation 自動分詞
* machine translation 機器翻譯
* topic modeling 主題式分析
* sentiment analysis 文字情緒分析
* part of speech 文字詞性分析
* word embedding 詞向量轉換
4️⃣ <影像辨識>
* computer vision 電腦視覺
* image recognition 影像辨識
* image segmentation 影像切割
* image annotation 影像標注
* object detection 物件偵測
* face detection 人臉辨識
5️⃣ <音訊辨識>
* speech recognition 語音辨識
* signal extraction 訊號處理
* noise reduction 雜訊處理
* acoustic model 聲學模型
* time domain 時域
* frequency domain 頻域
* Fourier transform 傅立葉轉換
—————————————————
真是隔行如隔山,有你們提供其他專業領域英文,大家都彼此受惠!
感謝胡哥🙏🏼~
.
#俐媽英文教室 #俐媽英文教室徵稿中 #俐媽英文教室大數據篇 #謝謝胡哥 #東吳巨量資料學院 #大數據 #bigdata #AI #machinelearning
特徵提取feature extraction 在 特征工程 的推薦與評價
特征工程感觉就像数据分析的数据预处理阶段,主要目的就是挑选能够使得模型达到最佳的特征和 ... 特征提取(feature extraction)、特征构造(feature construction). ... <看更多>
特徵提取feature extraction 在 xiaomeitian-125/Feature-extraction: 特征提取 - GitHub 的推薦與評價
特征提取. Contribute to xiaomeitian-125/Feature-extraction development by creating an account on GitHub. ... <看更多>