P值的悲劇及社會科學的未來
除非是唸科學史，大部份的物理學家不會去唸牛頓的「自然哲學的數學原理」，也不會去唸愛因斯坦的相對論原文，但他們都懂牛頓力學，也多少對相對論有了解。這是科學演進的過程，後進科學家的發展是奠基於前人的貢獻。除了很少數時刻的「典範轉移」，科學都是線性發展的。就算典範轉移，牛頓力學被愛因斯坦相對論挑戰，地球內的物理學，多半用牛頓還是可以通的。因為經歷「窮盡假說，實驗求證，一一駁斥」的過程後，剩下的就是具有「可複製性」的科學理論，不管誰來講，誰來做實驗，都八九不離十。有這些一代往一代上加灌水泥、打地基的過程，我們才有今日這麼多了不起的科技產品、科學知識。
但社會科學不是這樣，唸社會系一定要你讀韋伯、巴爾扎克，唸政治系一定要你讀霍布斯、孟德斯鴆，而號稱最接近自然科學的經濟學，又經常有人要你唸馬克斯、史密斯和凱因斯，讓我的頭都快爆掉了。各說各話，一天到晚讀原典的社會科學家，為了讓自己看起來更像科學家，開始弄數據，結果弄出心理學家那些p值的悲劇，不管是不是一百個大p值中勉強找出一個小p值，追求p值，根本就是本末倒置了。社會科學作為「科學」的問題才剛開始而已。
所謂的p值，大多來自迴歸分析。以心理學家Daniel Kahneman最近批判的priming研究為例，我可以稍微講一下，p值最大的問題在那裡。一個有名的priming研究是這麼說的，讓一群學生作智商的測驗，但在測驗前，一組學生給看教授的照片，另一組則看足球流氓的照片，結果看了教授照片的學生，成績比較高。簡單的迴歸分析結果大概是這樣作的
IQ = A + B*提示照片
p值就是研究B這個係數有沒有統計上的顯著意義，p越小越好。大部份的研究學者，都知道相關性不等於因果關係，所以不會說「看了照片造成智商提高」，而會說，「看何種照片，與智商成績有相關性」。但這樣的解釋也還是錯的。因為還有很多其它的變數沒有顯現在上面的式子裡，也許那群看教授照片的學生智商本來就比較高，也許他們在冷氣比較強的教室受測，也許主測者在當場講了什麼話，影響受測者情緒，什麼可能都有，而且不管變數控制的再好，都沒有辦法完全排除其它的因素。這也是這個有名的論文，沒有辦法複製的主要原因，換了人來做這實驗，就得到不一樣的結果。
自然科學家對付變數控制的方法是對照實驗，同樣的樣本，施與不同的實驗程序，得到不一樣的結果，那結果是實驗程序造成的可能性非常大。而且自然科學可以相對容易的控制樣本和外在條件，所以A做得出來，B和其它人都做不出來，A的結果不可靠的可能性很大。自然科學家造假的情況當然會有，但因為線性發展的原因，結果沒辦法複製，就不可能是未來研究的基礎，科學家只能不斷地推敲錯在那裡。之前小保方晴子的案子，許多人說是科學研究的悲哀，但我反而認為是自然科學之所以為自然科學，之所以能推進人類知識，就在於類似小保方這種突破性的成果不斷地被挑戰的過程。
那社會科學家呢? priming的實驗沒辦法被複製，心理學家怎麼看待呢? 研究方法不同嘛，就算結果不同，也還是有參考價值嘛。反正你不能複製結果，那是你有問題，我論文已經出了，我又沒造假，你拿我怎樣? 再吵就傷和氣了，不然你再出篇相反結果的論文，也可以呀。
有不少社會科學家，看著這種結果，就說，「所以定量研究是屁，定性研究才是真理」。但我覺得所謂的定性分析，寫寫幾個案例就當成真理，正是社會科學宗教化的罪魁禍首，正是讓社會科學變成偽科學的元兇。量化不可靠，定性研究各說各說變笑話，我逐漸相信社會科學對社會的淨貢獻是負值，家裡有小孩大學要唸社會科學，千萬要三思。
我雖說是經濟學家，但就連經濟學的未來，我都覺得將受到很大的考驗。為什麼，請待下回分解。(系列之一)
迴歸分析p值 在 第8單元相關與迴歸| 心理科學基礎統計 的推薦與評價
以統計方法的發展歷史來說，相關與迴歸的分析方法比假設檢定還早出現。 ... 讀者可運用jaomvi示範檔案，自行修改樣本數與檢定水準的p值，察看符合需要的理想樣本數與 ... ... <看更多>