關於AI面試的假神準
.
我們實驗室透過產學合作與鳯凰互動以及震旦雲合力開發的AI面試系統,最近在工商/經濟/數位時代/天下雜誌Cheers/經理人/能力雜誌等媒體陸續報導,當然就開始引起許多質疑的聲音,這幾乎是所有產品創新與實驗都會面臨的挑戰。其中有一點,就是我們的AI面試模型,是否有"過度擬合"的問題,而造成"假神準"。我的答案是,”不排除這個可能性”。
.
所謂過度擬合 (Overfitting),簡單說就是在機器學習或統計相關的過程中,把原本不相關的兩件事在大量數據中,建立出假性相關的結果,當我們把這個訓練好的預測模型用到下一批不同數據中,就會失準。例如,我們想預測什麼樣的學生適合當HR,找了一批當HR的履歷來分析並訓練AI模型,結果這批HR大多都來自北部,就會得到住在北部的學生比較適合當HR的假相關。
.
要降低過度擬合的可能,在技術上有一些方式,例如進行更多不同樣本的交叉驗證、去掉不相關的特徵值(例如: 來自北中南東)、在模型訓練過程中進行批歸一化 (Batch Normalization)與正則化(Dropout)。但以上都是只是表面的技術層次,更重要的是模型背後有沒有理論基礎,也就是變項與變項之間的關係詮釋。
.
表情除了反應情緒,可否反應一個人在特定情境下的行為傾向或社交印象,背後有透鏡模型(Lens Model)、 信號理論(Signaling Theory)的支持,結合電腦視覺與深度學習,形成另一支性格運算(Personality Computing)的跨域理論。筆者之前也發文分享,現代社會心理學家,已發現表情其實不盡然反應情緒,而是行為傾向或社交技巧,這背後的理論叫行為生態論 (Behavioral ecology view of facial displays, BECV)。缺乏理論的數據分析或機器學習的結果,有可能會誤導真實性。但缺乏實證數據的理論,終究只是個假設。理論與實證數據缺一不可,我們才能有較高的信心來”參考”這些數據結果與理論。
.
過去研究人類表情的大宗師是心理學教授Paul Ekman,他結合電腦視覺技術,捕捉人類肉眼難以察覺的微表情 - 學術界定義是五分之一秒以下,突然呈現的面部肌肉變化。早期是用臉部68個移動點(不含額頭),現在有些學者會抓到86點到120個點以上不定(含額頭),而這些微表情大都是由人類下意識情緒所觸動,最常被用來測謊,因為微表情反應當事人”可能”在說謊的情緒,且不易被當事人控制或破解。但這終究是間接的關係,就跟心跳測謊儀一樣,它測出來的是緊張,而緊張不一定等於說謊。即便如此,運用電腦視覺的AI,推估一個人是否在說謊的正確”機率”,雖然不是絕對答案,但仍比人類肉眼判斷還高。這解釋縱然Paul Ekman的基本情緒論一直備受挑戰,在學界也仍無共識,但這類技術仍被廣泛應用的原因。
.
屆至今日,我們都相信眼見為憑,也相信面試除了透過結構式面談問出應徵者過去的行為外,也能在過程中,讓面試官根據回答之外的非口語信息”判斷”一個人的性格或溝通技巧,起碼可以篩選掉一些”看起來”或”感覺”怪怪的人。但你問面試官,他們也說不出個所以然。重點是,許多相關研究發現,這類面談答案以外的弦外之音,常常被人類面試官誤判。倘若有一個工具,它的性格/溝通技巧是經過當事人自己、主管、同事、下屬、甚至客戶,以科學檢驗過的量表或工具在適當的實驗環境下進行測評,運用AI發現與當事人在真實面試中的微表情出現某種相關性,且這個模型再去測試另一批不同的應徵者也能得到不錯的預測結果,或者同一個人經過一段時間再進行一次測試,也能得到相似的結果。我們也只能說,這只是一種一致性與且正確機率較高的測評參考工具,在深度學習黑盒子下,也沒有辦法解釋什麼樣的微表情會有什麼的性格或行為傾向,這個技術仍在發展中,不代表真實答案。
.
那什麼是真實答案? 或許連當事人自己都不一定知道。 但運用在人力甄選中,雇主可能更在意的是當事人在職場環境中展現出的行為以及利害關係人對當事人的評價,至於當事人內心世界在想什麼? 或真實的他/她是什麼樣的人?使用者大多不是太在意!
.
https://www.ithome.com.tw/news/143000
.
AI面試是一個仍在發展中的技術,除了微表情,接下來我們會結合聲律、音質、上半身肢體動作,研究與測試這個測評工具對於性格、印象管理(包括自我包裝/欺騙/隱瞞)的信效度,以及應徵者在不同AI面試介面下的不同行為反應。關於我們的相關研究,除了專利技術外,都公開發表在SCI的期刊中,歡迎大家指教,讓這個工具可以更客觀更準確地被大眾使用:
.
https://doi.org/10.1007/s11554-021-01071-5
https://doi.org/10.1186/s13673-020-0208-3
https://doi.org/10.1109/ACCESS.2019.2902863
問題行為篩選量表 在 張宏陸 Facebook 的最佳解答
看了幾封選民寄來的信。其中,有民眾對於宏陸之前在院會質詢有關兒童注意力不足過動症的議題(英語:Attention deficit hyperactivity disorder,ADHD)有許多的鼓勵與建議。
ADHD是一種常見的精神失調狀況,7歲以下約有3%至5%的兒童會出現相關症狀。我在擔任新北市議員期間,接到許多家長的投訴,新北市政府在學校僅透過簡單的量表篩選,就將孩子貼上過動兒的標籤,要求學童配合投藥,引起家長們的反彈。沒有經過專業醫生嚴格的評估診斷,就要求孩子投藥,顯然已違反了行政法規範的原則。在我強烈要求下,新北市政府才停止這個粗糙的篩檢計畫。
在院會,我亦幾度提出有關學童ADHD的治療權益等問題。許多家長跟我反映,就算懷疑小朋友有過動傾向,醫院相關門診卻少之又少,帶孩子看診相當不便。衛福部居然沒有專責單位負責,其實,ADHD早期發現,透過”行為治療”可以有很好的效果。
孩子,是國家未來的主人翁。我要求,衛福部正視ADHD問題,並盡快提出學童就診及輔導計畫!
問題行為篩選量表 在 問題行為篩選量表下載 - 博碩士論文下載網 的推薦與評價
標題:問題行為篩檢量表指導手冊.作者:洪儷瑜·YEN-NANCHIU·張郁雯·孟瑛如·蔡明富.公開日期:2001.出版社:臺北:教育部特殊教育工作小組.,2022年11月12日—目前各縣市政府在 ... ... <看更多>
問題行為篩選量表 在 特殊生情緒行為評量學園 的推薦與評價
長期性、嚴重性、跨情境、適應困難、排它性(智障、感官及健康因素)及轉介前介入無效。 二、說明情障鑑定工具(包括: 問題行為篩選量表、學生行為評量表、 ... ... <看更多>
問題行為篩選量表 在 [問題] 買測驗要去哪買? - 精華區sp_teacher 的推薦與評價
我們學校的
學生行為評量表
問題行為篩選量表
學生適應調查表
已經用完了,想去買
請問要去哪裡買呢?
會不會很貴丫?
謝謝!
--
高雄市國中特教老師想調新竹喔!
目前是資源班國文老師...到特教班或資源班都可
歡迎有想要調往南部的新竹特教老師跟我聯絡喔!
我真的很想調去新竹ㄋㄟ... ~^ ^~
~我是為愛走天涯的王小P~
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 61.64.233.20
> -------------------------------------------------------------------------- <
作者: pipibaby (。:*棉花糖。:*) 看板: sp_teacher
標題: Re: [問題] 買測驗要去哪買?
時間: Tue Jan 8 23:12:31 2008
※ 引述《evilang (高雄教師想調新竹)》之銘言:
: 我們學校的
: 學生行為評量表
: 問題行為篩選量表
: 學生適應調查表
evilang說的這三項都是師大出版的,
印象中在之前情障鑑定研習時有配發。
: 已經用完了,想去買
: 請問要去哪裡買呢?
: 會不會很貴丫?
: 謝謝!
建議妳直接打特教中心電話
07-3133940或3134244 傳真:07-3136050
看能不能免費再申請。
另外,特教中心也歡迎借評量工具喔^-^
https://kserc.spec.kh.edu.tw/modules/document/index.php?dirsn=36
( 只是很遠啦,如果我這有也可以借妳,很近咩 XDDD)
其他測驗如心理出版社、中國行為科學社...等
基本上都需要簽准請示單,
在請購前都要仔細看申購方式喔。
例如:
心理出版社 https://www.psy.com.tw/categorylist.php?cPath=26 測驗一覽表
https://www.psy.com.tw/testbuy.php 資格證明表
日前才去申請中國行為科學社某知名智力測驗,
好貴喔>.<~~
以前都不知道一份測驗用紙就要200多。
明天再貼出自己寫的簽准請示單給需要的人參考:)
--
。:* https://www.wretch.cc/album/pipibaby 。:*
╫˙─★─˙ ╭═╤╮ * ╭═╤╮ *
˙ ◢│ ╞│╭╮│ ╞╡╭╮ █◤ ˙ ▁▁
║ ◢█╞═╧╯╞╡╞═╧╯╞╡ ◤ ║ ▕皮皮▏
˙ ◢██╰ ╰╯╰ ╰╯◤ ˙ ▕專用▏
˙─★─˙╫ ▔▔
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 218.164.29.236
> -------------------------------------------------------------------------- <
作者: monkeysky (After 20, I do) 看板: sp_teacher
標題: Re: [問題] 買測驗要去哪買?
時間: Wed Jan 9 00:03:10 2008
※ 引述《pipibaby (。:*棉花糖。:*)》之銘言:
: ※ 引述《evilang (高雄教師想調新竹)》之銘言:
: : 我們學校的
: : 學生行為評量表
: : 問題行為篩選量表
: : 學生適應調查表
: evilang說的這三項都是師大出版的,
: 印象中在之前情障鑑定研習時有配發。
如果要購買的話
可以上師大特教中心的網站訂購
https://www.ntnu.edu.tw/spc/menu2.htm 這網頁打開之後往下面拉一點 就看的到申購處
https://www.ntnu.edu.tw/spc/
填完之後也可以打電話給中心的人作確認喔
我們之前是請特教組長幫忙填寫申購單
然後直接準備現金至師大當場購買 他會準備好收據和測驗
: : 已經用完了,想去買
: : 請問要去哪裡買呢?
: : 會不會很貴丫?
: : 謝謝!
: 建議妳直接打特教中心電話
: 07-3133940或3134244 傳真:07-3136050
: 看能不能免費再申請。
: 另外,特教中心也歡迎借評量工具喔^-^
: https://kserc.spec.kh.edu.tw/modules/document/index.php?dirsn=36
: ( 只是很遠啦,如果我這有也可以借妳,很近咩 XDDD)
: 其他測驗如心理出版社、中國行為科學社...等
: 基本上都需要簽准請示單,
: 在請購前都要仔細看申購方式喔。
: 例如:
: 心理出版社 https://www.psy.com.tw/categorylist.php?cPath=26 測驗一覽表
: https://www.psy.com.tw/testbuy.php 資格證明表
: 日前才去申請中國行為科學社某知名智力測驗,
: 好貴喔>.<~~
: 以前都不知道一份測驗用紙就要200多。
: 明天再貼出自己寫的簽准請示單給需要的人參考:)
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 61.228.156.45
※ 編輯: monkeysky 來自: 61.228.156.45 (01/09 00:15)
> -------------------------------------------------------------------------- <
作者: smartbear (退駕..) 看板: sp_teacher
標題: Re: [問題] 買測驗要去哪買?
時間: Wed Jan 9 00:09:34 2008
※ 引述《evilang (高雄教師想調新竹)》之銘言:
: 我們學校的
: 學生行為評量表
: 問題行為篩選量表
: 學生適應調查表
: 已經用完了,想去買
: 請問要去哪裡買呢?
: 會不會很貴丫?
: 謝謝!
請上台灣師大特教中心網站
上面有價格跟購買流程
以及相關人員須填寫表格
這已經正式出版了
是有版權的
50本$250
印象中不一定要經手特教中心
要看測驗的等級
這個測驗的等級應該只要是相關單位都可以購買
不過還是請你打電話去問清楚
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 61.230.131.138
> -------------------------------------------------------------------------- <
作者: pipibaby (。:*棉花糖。:*) 看板: sp_teacher
標題: Re: [問題] 買測驗要去哪買?
時間: Mon Jan 14 10:03:09 2008
我lag了,sorry(^-^)|||
以下是自己擬的簽准請示單,
供給買測驗的老師參考:)
----
簽於 ○○處 中華民國○○年○月○日
主旨:資源班擬申購○○兒童智力測驗第○版之紀錄紙及測驗卷,
以作為學生鑑定安置之用,簽請核示。
說明:
一、○○兒童智力測驗第○版測量○歲至○歲學生的個別智力,
包括其○○智商、○○智商和○○○智商,以及四種因素智商,
資源班需購置此項測驗卷以供特殊兒童鑑定及提供更適切、完整之特教安置參考。
二、擬需申購測驗種類及數量:
紀錄紙○○本 ○○○元
○○測驗卷○○本 ○○○元
○○測驗卷○○本 ○○○元
依中國行為科學社股份有限公司訂購測驗須知第三點規定,
請由機關正式來函或傳真告知,並由機關首長(校長等)或單位主管署名蓋章。
三、測驗訂購費用由資源班業務費支出,
檢附:○○市○○區○○國民小學特教承辦老師姓名、電話、學校傳真號碼
及詳細寄送地址。
擬辦:擬本案經鈞長核可後由特教承辦老師配合辦理採購作業。
敬陳
校長
承辦單位: 敬會 決行
○○處: ○○○(校長印章)
○○○(特教承辦印章) ○○○(處室主任印章)
-------------------------------------------------------------------------
以下是第二張的檢附資料
-------------------------------------------------------------------------
附件:
一、擬申購之項目:
╭──────────┬────┬────╮
│ 測驗種類 │ 數量 │ 金額 │
├──────────┼────┼────┤
│ ○○○○○○○○ │ ○○本 │ ○○元 │
├──────────┼────┼────┤
│ ○○○○○○○○ │ ○○本 │ ○○元 │
├──────────┼────┼────┤
│ ○○○○○○○○ │ ○○本 │ ○○元 │
├──────────┼────┴────┤
│ 總計 │ ○○○元 │
╰──────────┴─────────╯
二、收件人:○○市○○區○○國民小學 資源班 ○○○老師
三、學校電話:
四、學校傳真:
五、學校地址:
--
掉落深井,我大聲呼喊,等待救援... ...
天黑了,黯然低頭,才發現水面滿是閃爍的星光。
我總是在最深的絕望裡,遇見最美麗的驚喜。
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 163.32.205.153
... <看更多>