科學家如何停止對統計數字的愚弄
多蘿西·畢曉普(Dorothy Bishop)的精彩文章出現在 性質 584:9(2020); doi:10.1038 / d41586-020-02275-8
收集模擬數據可以揭示我們的認知偏見導致我們誤入歧途的常見方式。
在過去的十年中,為促進可靠而可靠的研究做出了許多努力。 有些人側重於改變激勵機制,例如通過改變資助和出版標準,以偏向於開放科學而不是聳人聽聞的突破。 但是也必須注意個人。 過度的人類認知偏見會使我們看到不存在的結果。 錯誤的推理會導致草率的科學,即使意圖很好。
關於作者的幾句話:
多蘿西·畢曉普教授
實驗心理學係發育神經心理學教授; 聖約翰學院院士
Bishop教授研究了兒童的語言障礙。 在某些情況下,言語障礙有明顯的原因,例如聽力下降或唐氏綜合症。 在其他情況下,兒童在沒有明顯原因的情況下學習說或理解語言特別困難。 Bishop教授研究了患有“特定語言障礙”或SLI的兒童,這些兒童約佔總人口的3%,但往往被研究人員所忽視。 她使用雙胞胎研究,研究了這些疾病的遺傳成分,並與分子遺傳學家一起研究了涉及哪些基因。 源圖像:Wikipedia
科學家如何停止對統計數字的愚弄
在過去的十年中,為促進可靠而可靠的研究做出了許多努力。 有些人側重於改變激勵機制,例如通過改變資助和出版標準,以偏向於開放科學而不是聳人聽聞的突破。 但是也必須注意個人。 過度的人類認知偏見會使我們看到不存在的結果。 錯誤的推理會導致草率的科學,即使意圖很好。
研究人員需要更加意識到這些陷阱。 就像沒有經過安全培訓的情況下不允許實驗室科學家處理有害物質一樣,在允許研究人員證明自己明白這是什麼意思之前,也不應允許研究人員獲得接近P值或類似的統計概率測度的任何值。
我們都傾向於忽略與我們的觀點相矛盾的證據。 當面對新數據時,我們先前存在的想法會使我們看到不存在的結構。 這是一種確認偏差的形式,我們在其中搜索信息並記住與我們已經在思考的信息相匹配的信息。 它可以適應性強:人們需要能夠清除重要信息並迅速採取行動以擺脫危險。 但是這種過濾會導致科學錯誤。
例如,物理學家羅伯特·米利坎(Robert Millikan)在1913年對電子的電荷進行測量。 儘管他聲稱自己的工作包括了他著名的油滴實驗中的所有數據點,但他的筆記本顯示了其他未報告的數據點,這些數據點只會稍微改變最終值,但會給他帶來更大的統計誤差。 關於密立根是否打算誤導讀者存在爭議。 然而,誠實的人壓抑對不便事實的記憶並不罕見(RC Jennings Sci。Eng。Ethik 10,639-653; 2004)。
另一類限制會加劇對概率和統計的誤解。 我們早就知道人們很難把握與小樣本有關的不確定性(A. Tversky和D. Kahneman Psychol。Bull。76,105-110; 1971)。 作為當前示例,我們假設有5%的人口感染了病毒。 我們有100家醫院,每家醫院測試25人,100家醫院測試50人,100家醫院測試100人。 百分之幾的醫院不會發現任何病例並錯誤地認為該病毒已消失? 答案是:測試28人的醫院中有25%,測試8人的醫院中有50%,測試1人的醫院中有100%。 不管檢測的病例數是多少,醫院檢測到的平均病例數都是相同的,但樣本量較小時,範圍要大得多。
非線性縮放很難直觀地把握。 這會導致低估小樣本的噪聲,從而導致缺乏統計能力來檢測效果的研究。
研究人員還沒有意識到以P值表示的結果的重要性主要取決於上下文。 您檢查的變量越多,您發現錯誤的“重要”值的可能性就越大。 例如,如果您測試14種代謝物是否與某種疾病相關,那麼您發現至少一個P值低於0,05(通常的統計意義閾值)的概率不是1分之一,而是接近20至1。
我們如何傳達對此的理解? 一件事很清楚:常規的統計學培訓是不夠的,甚至適得其反,因為它可能會給用戶帶來不適當的信任。 我正在嘗試一種替代方法:生成模擬數據,學生可以對其進行各種統計分析。 我用它來傳達兩個關鍵概念。
首先,當向學生提供空記錄(如隨機數)時,他們很快就會發現找到在統計上“顯著”的錯誤結果是多麼容易。 研究人員需要學習在被問到“ A與B關聯嗎?”時解釋P值。 與“ P <0,05的變量A,B,C,D和E是否存在相關性?”的問題與特定代謝物是否與疾病相關的問題與尋找範圍不同的問題大不相同。代謝物以查看是否與之相關,後者需要更嚴格的測試。
遏制四個不可複制的騎士
當樣本以不同方式來自兩個“人群”時,模擬數據還可以提供信息。 學生很快就會發現,樣本量很小,即使顯示出適度的差異,實驗也無濟於事。 如果研究人員理解了其中的含義,那麼30分鐘的數據模擬可能會令他們震驚。
研究人員需要養成終生習慣,以免被偏見所誤導。 與我們的預期相矛盾的觀察結果需要特別注意。 查爾斯·達爾文(Charles Darwin)在1876年說過,“我發現任何與公開結論相矛盾的事實,觀察結果或思想時,都立即養成習慣,立即寫一份備忘錄寫給我:因為我從經驗中得出這樣的結論:事實和想法更有可能逃脫記憶,而不是有利的。” 我自己見過。 在撰寫文學評論時,我很震驚地發現我完全忘記了提及與我的直覺相反的論文,即使這些論文沒有特別的缺陷。 我現在正在嘗試列出它們。
我們都發現很難看到我們工作中的缺陷-這是人類認知的正常組成部分。 但是,如果我們了解了這些盲點,就可以避免它們。