統計誤用

一間公司所需做的事就是找出推廣中性(無用)的產品的方法，例如︰有40個研究指出產品的置信等級有95%。如果該產品真的是無用的，這個數據便有可能是由1份指出產品是好的、1份指出產品是不好的及38份不確定的研究(38是40的95%)得出的平均值。當研究報告越多時，這個策略便越有效。

組織是不會把他們的所有的研究都公開的，例如煙草公司會否認吸煙和癌症之間的關聯，而提倡禁煙組織和媒體則會嘗試著證明吸煙和多種病症是有關聯的，減肥藥物製造商也常用這個策略。

另一個常見的技巧就是進行其測試中有大量應變項(dependent variable)的研究。例如︰一個測試治療方法的效果的研究可以存活率、在醫院的平均日數、病人自報的疼痛程度等作為應變項。最少一個變項會碰巧展示與自變項(independent variable)的可能性便會增加。

問題的用字能引導受訪者給予某一答案，問卷的結果因而能被操縱(參見觀察者期望效應)。例如在有關戰爭的民意調查中，問題為︰

• 你支持美國的企圖能為其他國家帶來自由和民主嗎?
• 你支持美國的無故軍事行動嗎?

以上兩道問題雖然也有關戰爭的民意調查，但所得出的結果會有所不同。（參見預立論題）

另一做法是在問題前加上支持「理想答案」的資料。例如︰

• 已知稅項會增加中產家庭的負擔，你支持扣減所得稅嗎?
• 在考慮國家的預算赤字和收入的迫切需求，你支持扣減所得稅嗎?

在前者，有較多人會傾向回答「支持」。（參見誘導性提問）

輕率概化是當一個統計的的特定總體不能代表原本總體時發生的謬誤。

例如，假設在夏天時的蘋果100%也是紅色的。那麼，「所有蘋果都是紅色」的推斷便是過度類化，因為原本的統計只對那些在夏天的蘋果正確，而不能代表所有蘋果；或者看到已開發國家廢除死刑後的治安數據，就斷定死刑對治安沒有影響，但已開發國家廢除死刑後的狀況不能代表所有國家的狀況。

在現實生活中，禁止通過電話的政治民意調查可見到過度類化的謬誤。由於年青人只擁有一部手提電話，而非也擁有一部家用電話，這種年青人會被視為自由主意者，而沒有家用電話的年青人很大機會會被當作整體，這些民意調查便有效地使很多自由的選民排除在外。[1]

因此，使用這種技巧的民意調查所檢驗的年青人的投票意願，是不能在沒有過度類化的情況下聲稱能代表所有年青人的真正投票意願，這是因為其使用的樣本不是整個總體的代表。

當資料在某個媒體經過非技術性的來源，過度類化便經常出現。[2]

科學家在過去以巨大的代價學到蒐集良好的實驗數據以做統計分析是困難的，像例如說安慰者效應常常會非常強大，一個例子是在一個實驗中，所有的受試者在接觸被貼上「毒藤」標籤的惰性物質之後，都起了皮疹，反倒那些接觸被貼上「無害」標籤的毒藤的人，只有少數人起來皮疹。[3]研究者現在藉由雙盲隨機化比較實驗來應對此現象。比起分析本身，統計學家通常更擔心資料的真確性，而這反映在統計學當中一門被稱為「實驗設計」的研究當中。

做民調的人在過去也以巨大的代價學到蒐集良好的調查資料以做統計分析是困難的。一個潛在的例子是在資料收集上手機所產生的選擇效應（此事在本文「輕率概化」一節中也有談及），如果擁有傳統電話的年輕人並不能代表年輕人整體，那麼電話抽樣就會出現偏差。樣本觀察當中有許多陷阱，在實際執行時，要非常地小心[4]；另外，在電話抽樣時，往往要打將近3000通電話，才能得到一千個樣本。因此對於母體的簡單隨機抽樣「並不簡單，也未必隨機」。[5]

如果一個研究小組希望知道300萬人對指定題目的看法，一一詢問是個不實際的做法。可是，如果這個小組隨意抽出1000人作樣本，這些人給予的回應便可代表那300萬人的意願。

這個置信區間可以被中心極限定理和其他數學的結果量化。它會被表達為一個在指定範圍的估計值(較小組別的數字)的真實結果(較大組別)的概率。這是經常被統計調查引用的「正或負」數。這個置信區間的概率部份不是常常被提起，即使有被提起，它也會被假設為像95%的標準數。

這兩個數字是有關的。如果一個問卷調查在95%的置信區間中，其估計誤差為±5%;在99%的置信區間中，其估計誤差為±6.6%。當置信區間為95%時是±${\displaystyle x}$%，那置信區間為99%時，就會變為±${\displaystyle 1.32X}$%。

當估計錯誤越少時，便需要越大的樣本空間。像例如說置信區間為95.4%時，各種估計誤差所需要的調查人數如下︰

• ±1%需要10,000人。
• ±2%需要2,500人。
• ±3%需要1,111人。
• ±4%需要625人。
• ±5%需要400人。
• ±10%需要100人。
• ±20%需要25人。
• ±25%需要16人。
• ±50%需要4。

很多人採用了這些數字，因為忽略了置信區間而以為這是100%肯定真實結果，忘了這是存有估計誤差的，而這種看法在數學上是不正確的。

很多人可能不會發現說樣本空間的隨意性，是會造成十分重要的差異的。在日常的做法中，很多輿論調查也通過電話進行，而這種方法會在幾方面歪曲樣本空間，當中包括剔除了沒有電話的人、重覆計算了擁有多於一部電話的人等。非隨機抽樣會使估計誤差變得不可靠。

非隨機抽樣使估計變得不可靠的一個例子是1936年美國總統選舉前，《文學文摘》郵寄1,000萬份問卷予其讀者，回收230萬份。他們預測共和黨候選人阿爾夫·蘭登會在531張選舉人票中獲得370張選票並勝過民主黨候選人富蘭克林·德拉諾·羅斯福。

該次總統大選，阿爾夫·蘭登實際上只獲得8張選舉人票，而富蘭克林·德拉諾·羅斯福則在大選中大勝。一個說法認為，《文學文摘》的讀者比美國人口擁有更多共和黨人，故此他們更傾向於投票給阿爾夫·蘭登。《文學文摘》的民調樣本有明顯的偏差。

在另一方面，由於不是所有人的意見也問到或他們從來亦未被訪問，所以很多人都認為統計是不可靠的。不少人認為只透過調查數千人是不可能取得數百萬人的意見，這也是不準確的。一個有完美公正的抽樣和可信答案的調查在數學上被定義為誤差範圍，這是只取決於調查的人數。

可是，問卷調查通常只有一個誤差範圍。當一小群人的結果被報告時，誤差範圍便會較大，但這可能不太清楚，例如，一個1000人的問卷調查可能會包含100位來自指定種族或經濟組別。聚焦組別得出的結果會比總體的不太可靠。如果整個樣本空間的誤差範圍是4%，那麼一個分組的誤差範圍便會是大約13%。

人口調查還會出現很多其他量度上的問題。以上提及的問題不只會發生在人口調查，還會發生在所有的統計實驗。

更多資料︰輿論調查、社會統計調查、偏差樣本

當一個統計測試展示A和B之間的關係時，通常也會有5種可能性︰

1. A導致B。
2. B導致A。
3. A和B互相導致對方出現。
4. A和B一起導致C。
5. 觀察得的關係純屬偶然。

第五個可能性可透過統計測試來量化，計算出來的機率與其可能發生的機會是一樣大的。事實上，變量之間是沒有關係的。可是，即使那個機率的可能性很少，其餘四個可能性仍有機會發生。

以下以現實中可能會碰到的狀況，來說明錯誤因果關係。如果今天有人說「在沙灘裡購買雪糕的人越多，那麼在沙灘裡遇溺的人就越多，因此購買雪糕導致更多人溺水」，那也不會有多少人認真考慮這說法，因為顯然地，就算在沙灘裡購買雪糕的人數是與在沙灘裡遇溺的人數有關的，也沒有人會斷言雪糕會導致遇溺，這是因為這兩件事情明顯地無關，而遇溺和購買雪糕清楚地與第三個因素，也就是沙灘上的人數有關；然而，這不表示類似的謬誤就不會出現，這個謬誤的一個例子，是證明接觸化學品會導致癌症。很多時候人們會把「購買雪糕的人數」用「接觸化學品X的人數」代替，以及把「滅亡的朝代數」用「患上癌症的人數」代替。在這個情況，即使這樣做沒有真正的效果，那仍然有一個統計上的關聯。

例如，如果某一地方對化學品站是「危險」(即使它不危險)的資產的看法減少，這會誘使更多低收入家庭搬到該地，即使那種化學品本身不危險亦然。如果低收入家庭較高收入家庭容易患上癌症(這可能是基於更差膳食和醫療技術欠佳等原因)，然後患癌率上升的話，那這樣就會導致錯誤的結論。在一些證明電源線的EMF(電磁場)和癌症的關聯的研究中[6]，這個情況真的發生了。[7]

其他的例子像是古人所謂的「賢士國之寶，美女國之咎：夏亡以妹喜，殷亡以妲己，周亡以褒姒。」《吳越春秋》[note 1]這件事，但盡管可以觀察到說「美女出現，之後朝代覆亡」，這不代表美女的出現，就是之後朝代覆亡的原因，要同時考慮「有其他的因素，如君王本身的人格特質，導致了美女的出現與之後朝代的覆亡」或者「美女的出現與之後朝代的覆亡之間的關係純屬偶然」等等各種可能性；還有一個例子就是看到死刑判決數越多的時候，謀殺犯罪率也越高，就斷定死刑導致更多謀殺，但就算如此，有可能死刑和謀殺之間的關係，純屬偶然，或更可能地，謀殺增加導致更多死刑判決。

在構思甚佳的研究中，錯誤的因果關係的影響可透過隨機分別分配一些人到「受試組」及「控制組」中來排除，研究人員可藉由對受試組的人施加影響（例如進行治療），不對控制組的人施加影響的方式，來得知真實的因果關係。在以上化學品X的例子中，研究人員應當要將受測者隨機分成兩組，讓其中一組人暴露在化學品X中，並讓另一組人不暴露在化學品X中，以將其他變因的可能性給降到最低。如果在這實驗中，第一組人有較高的患癌率，由於研究員控制了實驗對像有否暴露在化學品X中，他便知道沒有第三個因素影響，進而可以斷定化學品X會導致癌症；或在以上死刑的例子中，將國家隨機分成兩組，一組對謀殺有死刑，另一組對謀殺沒有死刑，以查看死刑對謀殺的影響；可是，這樣做實驗是十分昂貴、不可行、不合法或完全不可能的。例如說機構審查委員會大多不會批准進行為了測試某物質的毒性而把人類暴露在危險物質當中的實驗，這類實驗明顯的道德暗示會限制了研究員憑驗經驗地判斷實驗因果關係的能力。

深挖數據是對数据挖掘的一種濫用。在深挖數據中，行為者在沒有預先對需要檢驗的假設做出決定的狀況下，檢視大筆的資料，以尋找關聯。由於在一般狀況下，要建立兩個變數間的關聯所需的置信區間通常是95%（這表示觀察到的關係，有95%的可能性不是隨機的），因此在任意兩組隨機的變數間找到關聯的機率依舊有5%。由於人們在深挖數據的時候，通常會檢視大筆且有多個變數的資料，進而會檢視更大量的變數對之故，因此在任何這類的研究中，幾乎都一定能找到統計上看起來相關但可疑的結果。

當注意的是，深挖數據是找到可能假說的有效方法，但由此方法找到的假說，必須以其他的資料來檢視，而不能用被用於深挖數據的原始資料來檢視；而深挖數據所造成的誤用，會在將發現的假說視為事實，而未做進一步確認的時候發生。

或曰：「你不能合理地用和指出某特定假說的資料相同的資料，來檢驗該項假說，對治此狀況的方法很明確，就是一旦你有了一個假說，就要為你現在認為存在的效應，特別設計一項研究。一旦測試的結果是統計相關的，你就有了確實的證據。」[note 2][8]

數據操縱指的是選擇性使用數據（可參見發表偏差）或甚至捏造數據的作為。

選擇性使用數據的狀況很多，最常見的例子就是選擇那些模式符合研究者所偏好的假說的結果，而忽略掉其他那些和假說不合的結果。

一般而言，科學家會質疑不能被其他調查者重現的研究結果；然而，一些科學家會拒絕出版他們所用的數據和研究方法。[9]

數據操縱是統計分析誠實性上一個非常嚴重的問題；不過離群值、數據缺失和非常態性都會對統計分析的真確性，造成負面的影響，在分析開始前，研究數據本身並對其確實存在的問題進行修補是合理的。或曰：「在任何分散的圖表上，都多少會有一些點，是偏離資料主體所形成的雲的。這些點應當被剔除，以清楚呈現因果關係。」[note 3][10]

其他的謬誤包括「拿蘋果跟橘子比」[note 4]、誤用平均數（像是例如說「男人和女人平均有一顆睪丸」[note 5]，前总统德怀特·艾森豪威尔对一半的美国人的智力不足平均水平的震惊）、「均值迴歸」（regression toward the mean）以及「垃圾進，垃圾出」等等；此外，一些統計數據就純粹與議題無關。

安斯庫姆四重奏是一組虛構的數據，被用以顯示簡單描述統計（以及未經過數值分析的統計圖的數值）的不足。