本文來自讀者投稿，作者：黃同學(xué)

這是一篇關(guān)于推斷統(tǒng)計(jì)、參數(shù)估計(jì)和假設(shè)檢驗(yàn)等概念的全面講解以及在python中的如何實(shí)現(xiàn)的文章，全文共5000字，建議收藏后閱讀~

1、總體、個(gè)體、樣本和樣本容量

1）總體、個(gè)體、樣本和樣本容量的概念

• 總體：我們所要研究的問題的所有數(shù)據(jù)，稱為總體。

• 個(gè)體：總體中的某個(gè)數(shù)據(jù)，就是個(gè)體。總體是所有個(gè)體構(gòu)成的集合。

• 樣本：從總體中抽取的部分個(gè)體，就構(gòu)成了一個(gè)樣本。樣本是總體的一個(gè)子集。

• 樣本容量：樣本中包含的個(gè)體數(shù)量，稱為樣本容量。

2）本文章使用的相關(guān)python庫

import numpy as np
import pandas as pd
import matplotlib as mpl
import matplotlib.pyplot as plt
import seaborn as sns
import warnings
from sklearn.datasets import load_iris
from scipy import stats
sns.set(style="darkgrid")
mpl.rcParams["font.family"] = "SimHei"
mpl.rcParams["axes.unicode_minus"] = False
warnings.filterwarnings("ignore")

2、推斷統(tǒng)計(jì)的概念

1）推斷統(tǒng)計(jì)的概念

“推斷統(tǒng)計(jì)”研究的是用樣本數(shù)據(jù)去推斷總體數(shù)量特征的一種方法。它是在對樣本數(shù)據(jù)進(jìn)行描述的基礎(chǔ)上，對統(tǒng)計(jì)總體的未知數(shù)量特征做出以概率形式表述的推斷。

2）為什么要進(jìn)行推斷統(tǒng)計(jì)？

在實(shí)際研究中，總體數(shù)據(jù)的獲取往往是比較困難的，總體參數(shù)一般也是未知的。因此，我們就需要利用總體的某個(gè)樣本，通過樣本統(tǒng)計(jì)量去估計(jì)總體參數(shù)?；谶@個(gè)需求，我們就需要學(xué)習(xí)推斷統(tǒng)計(jì)。

通過上述敘述，我們給推斷統(tǒng)計(jì)做一個(gè)說明?！巴茢嘟y(tǒng)計(jì)”就是利用樣本統(tǒng)計(jì)量，去推斷總體參數(shù)的一種方法。
??

3、參數(shù)估計(jì)(點(diǎn)估計(jì)和區(qū)間估計(jì))

1）參數(shù)估計(jì)、點(diǎn)估計(jì)和區(qū)間統(tǒng)計(jì)的概念

• 參數(shù)估計(jì)：用樣本統(tǒng)計(jì)量去估計(jì)總體的參數(shù)。比如，用樣本均值去估計(jì)總體均值，用樣本方差去估計(jì)總體方差。

• 點(diǎn)估計(jì)：用樣本統(tǒng)計(jì)量的某個(gè)取值，直接作為總體參數(shù)的估計(jì)值。

• 區(qū)間估計(jì)：在點(diǎn)估計(jì)的基礎(chǔ)之上，給出總體參數(shù)估計(jì)值的一個(gè)區(qū)間范圍，該區(qū)間通常由樣本統(tǒng)計(jì)量加減估計(jì)誤差得到。

2）點(diǎn)估計(jì)說明

① 怎么求鳶尾花的平均花瓣長度？

事實(shí)上，世界上鳶尾花千千萬，我們總不能說把所有的鳶尾花的數(shù)據(jù)信息，都統(tǒng)計(jì)出來。因此，這就需要我們用樣本均值去估計(jì)總體均值。

iris = load_iris()
dt = np.concatenate([iris.data,iris.target.reshape(-1,1)],axis=1)
df = pd.DataFrame(dt,columns=iris.feature_names + ["types"])
display(df.sample(5))
# 計(jì)算鳶尾花花瓣長度的均值
df["petal length (cm)"].mean()

結(jié)果如下：

結(jié)果分析：點(diǎn)估計(jì)有點(diǎn)簡單粗暴，容易受到隨機(jī)抽樣的影響，很難保證結(jié)果的準(zhǔn)確性。但是，點(diǎn)估計(jì)也不是一無是處，樣本值是來自總體的一個(gè)抽樣，在一定程度上還是可以反映出總體的一部分特征。同時(shí)，樣本容量越接近總體容量，點(diǎn)估計(jì)值也會(huì)越準(zhǔn)確。
??

3）區(qū)間估計(jì)說明

① 什么是區(qū)間估計(jì)？

當(dāng)你碰到一個(gè)陌生人，我讓你判斷出這個(gè)人的年齡是多少？這里有兩種方式完成你的推斷。第一，這個(gè)人25歲。第二，這個(gè)人20-25歲之間。哪種結(jié)果更讓你信服呢？很明顯第二種更讓人信服。對于第一種說法，相當(dāng)于上述的點(diǎn)估計(jì)。第二種，相當(dāng)于區(qū)間估計(jì)，就是給定一個(gè)區(qū)間，這個(gè)區(qū)間包含真值。

統(tǒng)計(jì)學(xué)中對區(qū)間估計(jì)的定義：在點(diǎn)估計(jì)的基礎(chǔ)之上，給出總體參數(shù)估計(jì)的一個(gè)區(qū)間范圍，該區(qū)間通常由樣本統(tǒng)計(jì)量加減估計(jì)誤差得到。

問題：獲取一個(gè)抽樣樣本后，如何確定置信區(qū)間和置信度？

要確定置信區(qū)間和置信度，就需要知道樣本和總體，在分布上有怎樣的聯(lián)系。中心極限定理給出了這個(gè)問題很好的回答。上述疑問將在下面為您一一揭曉。
??

4、中心極限定理

1）中心極限定理的概念

設(shè)從均值為μ，方差為σ2的任意一個(gè)總體中，抽取樣本量為n的樣本。當(dāng)n充分大的時(shí)候，樣本均值X拔近似服從均值為μ，方差為σ2/n的正態(tài)分布。

注意：中心極限定理要求n充分大，但是多大才叫充分大呢？一般在統(tǒng)計(jì)學(xué)中n>=30稱之為大樣本(統(tǒng)計(jì)學(xué)中的一種經(jīng)驗(yàn)說法)。因此在實(shí)際生產(chǎn)中，不用多想，肯定都是大樣本。

2）中心極限定理的推導(dǎo)(手寫推導(dǎo))

設(shè)X1,X1,…,Xn是從總體中抽取出來的樣本容量為n的隨機(jī)樣本，假設(shè)總體均值為μ，方差為σ2。那么很顯然這n個(gè)樣本是獨(dú)立同分布的，“獨(dú)立”指的就是每個(gè)個(gè)體被抽到的概率是相同的，每個(gè)球被抽到也不會(huì)影響其它球被抽到，“同分布”指的是每一個(gè)個(gè)體都和總體分布一樣，均值為μ，方差為σ2。

基于上述敘述，下面我們來推導(dǎo)樣本均值X拔的分布。

3）由中心極限定理得出的幾個(gè)結(jié)論

• 不管進(jìn)行多少次抽樣，每次抽樣都會(huì)得到一個(gè)均值。當(dāng)每次抽取的樣本容量n足夠大時(shí)，樣本均值總會(huì)圍繞總體均值附近，呈現(xiàn)正態(tài)分布。

• 當(dāng)樣本容量n足夠大時(shí)，樣本均值構(gòu)成正態(tài)分布，樣本均值近似等于總體均值μ，而樣本方差等于總體方差σ2除以n，即σ2/n。

• 樣本均值分布的標(biāo)準(zhǔn)差，我們稱之為標(biāo)準(zhǔn)誤差，簡稱“標(biāo)準(zhǔn)誤”。

4）python實(shí)現(xiàn)中心極限定理

# 設(shè)置一個(gè)隨機(jī)種子，保證每次產(chǎn)生的隨機(jī)數(shù)都是一定的
np.random.seed(3)
# 產(chǎn)生均值為50，標(biāo)準(zhǔn)差為80，大小為100000的一個(gè)總體
all_ = np.random.normal(loc=50,scale=80,size=100000)
# 創(chuàng)建一個(gè)樣本均值數(shù)組
mean_array = np.zeros(10000)
for i in range(len(mean_array)):
    mean_array[i] = np.random.choice(all_,size=64,replace=True).mean()

display("樣本的均值：",mean_array.mean())
display("樣本的標(biāo)準(zhǔn)差：",mean_array.std())
display("偏度：",pd.Series(mean_array).skew())
sns.distplot(mean_array)

結(jié)果如下：

從圖中可以看出：樣本均值近似等于總體均值50，而樣本方差等于總體方差80除以8，即10。

5、參數(shù)估計(jì)中置信區(qū)間的推導(dǎo)

我們要知道什么是α值，什么是置信度，什么是置信區(qū)間，以及怎么求置信區(qū)間。首先要了解以下幾方面的知識(shí)，才能有一個(gè)比較透徹的了解。

1）什么是小概率事件？
2）隨機(jī)變量的分布的概念。
3）標(biāo)準(zhǔn)正態(tài)分布的概率密度函數(shù)和和分布函數(shù)
4）隨機(jī)變量的α分位數(shù)的概念。
5）標(biāo)準(zhǔn)正態(tài)的分位數(shù)表怎么得到的呢？
6）區(qū)間估計(jì)的概念。
7）置信水平1-α的解釋
8）樞軸法求置信區(qū)間的步驟。

1）什么是小概率事件？

“小概率事件”指的就是在一次隨機(jī)試驗(yàn)中，幾乎不可能發(fā)生。
假定參數(shù)是射擊靶上10環(huán)的位置，隨機(jī)進(jìn)行一次射擊，打在靶心10環(huán)的位置上的可能性很小，但是打中靶子的可能性確很大。然后用打在靶上的這個(gè)點(diǎn)畫出一個(gè)區(qū)間，這個(gè)區(qū)間包含靶心的可能性就很大，這就是區(qū)間估計(jì)的基本思想。

2）隨機(jī)變量的分布的概念

3）標(biāo)準(zhǔn)正態(tài)分布的概率密度函數(shù)和和分布函數(shù)

4）隨機(jī)變量的α分位數(shù)的概念

5）標(biāo)準(zhǔn)正態(tài)的分位數(shù)表怎么得到的呢？

① 標(biāo)準(zhǔn)正態(tài)分位數(shù)表的公式推導(dǎo)

② 標(biāo)準(zhǔn)正態(tài)分布分位數(shù)表

6）區(qū)間估計(jì)的定義

7）置信水平1-α的解釋

對總體樣本進(jìn)行反復(fù)抽樣(每次抽取到的樣本容量都為n)，那么每個(gè)樣本均值都會(huì)確定一個(gè)區(qū)間(a,b)，每個(gè)這樣的區(qū)間要么包含總體參數(shù)，要么不包含總體參數(shù)，不能說成“以多大的概率包含總體的參數(shù)”。其中包含總體參數(shù)的區(qū)間有1-α個(gè)，而只有α個(gè)區(qū)間不包含總體參數(shù)，如下圖所示(紅色表示該樣本構(gòu)成的區(qū)間估計(jì)不包含總體參數(shù)，白色表示該樣本構(gòu)成的區(qū)間估計(jì)包含總體參數(shù))。

用一個(gè)詳細(xì)的案例說明：如果對總體返回抽樣10000次，每次抽樣的樣本量都是n，每個(gè)樣本都會(huì)得到一個(gè)區(qū)間估計(jì)，那么10000次抽樣，就會(huì)得到10000個(gè)區(qū)間。當(dāng)置信水平1-α=95%時(shí)，那么就表示10000個(gè)區(qū)間中包含總體參數(shù)的有9500個(gè)抽樣樣本，只有500個(gè)樣本不包含總體參數(shù)，這個(gè)不包含總體參數(shù)的樣本就相當(dāng)于我們估計(jì)錯(cuò)誤。這個(gè)概率只有5%。這個(gè)5%在統(tǒng)計(jì)學(xué)中，就叫做小概率事件，也就是說在一次隨機(jī)試驗(yàn)中，這個(gè)小概率事件不可能發(fā)生。

即：當(dāng)我們隨機(jī)抽取一個(gè)樣本容量為n的抽樣樣本，并且利用這個(gè)樣本構(gòu)造總體參數(shù)的置信區(qū)間，當(dāng)指定了置信水平1-α=95%時(shí)，那么這個(gè)樣本，基本就可以認(rèn)為是包含了總體參數(shù)，也就是說，總體參數(shù)就在這個(gè)置信區(qū)間內(nèi)。

8）樞軸法求置信區(qū)間的步驟(手寫推導(dǎo))

① 什么是樞軸量？

• 樞軸量指的就是包含待估計(jì)參數(shù)，而不包含其它未知參數(shù)，并且分布已知的一個(gè)量。

• 樞軸量設(shè)計(jì)到三個(gè)重要點(diǎn)：1、包含估計(jì)參數(shù)。2、不包含其它未知參數(shù)。3、該樞軸量的分布已知。

②以總體μ的置信區(qū)間為例(方差σ2已知)，講述樞軸量求置信區(qū)間的步驟。

6、假設(shè)檢驗(yàn)

1）假設(shè)檢驗(yàn)的概念

假設(shè)檢驗(yàn)，也稱為顯著性檢驗(yàn)，指通過樣本的統(tǒng)計(jì)量，來判斷與總體參數(shù)之間是否存在差異(差異是否顯著)。我們事先對總體參數(shù)進(jìn)行一定的假設(shè)，然后通過收集到的數(shù)據(jù)，來驗(yàn)證我們之前作出的假設(shè)(總體參數(shù))是否合理。

在假設(shè)檢驗(yàn)中，我們會(huì)建立兩個(gè)完全對立的假設(shè)，分別為原假設(shè)H0與備擇假設(shè)H1。然后根據(jù)樣本信息進(jìn)行分析判斷，是選擇接受原假設(shè)，還是拒絕原假設(shè)(接受備擇假設(shè))。假設(shè)檢驗(yàn)基于“反證法”。首先，我們會(huì)假設(shè)原假設(shè)為真，如果在此基礎(chǔ)上，得出了違反邏輯與常理的結(jié)論，則表明原假設(shè)是錯(cuò)誤的，我們就接受備擇假設(shè)。否則，我們就沒有充分的理由推翻原假設(shè)，此時(shí)我們選擇去接受原假設(shè)。

2）假設(shè)檢驗(yàn)的理論依據(jù)(小概率事件)

在假設(shè)檢驗(yàn)中，違反邏輯與常規(guī)的結(jié)論，就是小概奉事件。我們認(rèn)為，#小概率事件在一次試驗(yàn)中是不會(huì)發(fā)生的*。我們首先認(rèn)為原假設(shè)為真，如果在此基礎(chǔ)上，小概率事件發(fā)生，則我們就拒絕原假設(shè)，否則，我們就選擇去接受原假設(shè)。

假設(shè)檢驗(yàn)遵循“疑罪從無”的原則，接受原假設(shè)，并不代表原假設(shè)一定是正確的，只是我們沒有充分的證據(jù)，去證明原假設(shè)是錯(cuò)誤的，因此只能維持原假設(shè)。那么，假設(shè)檢驗(yàn)中的小概率事件是怎么得出的呢？想想之前講到的置信區(qū)間，是不是一切都驗(yàn)然開朗了？

“疑罪從無”很形象的說明的假設(shè)檢驗(yàn)向我們傳達(dá)的含義。也就是說，當(dāng)我們沒有充分的理由拒絕原假設(shè)，就必須接受原假設(shè)，即使原假設(shè)是錯(cuò)誤的，但是你找不到證據(jù)證明原假設(shè)是錯(cuò)誤的，你就只能認(rèn)為原假設(shè)是對的。反之，經(jīng)過一次隨機(jī)試驗(yàn)，你如果找到了某個(gè)理由拒絕了原假設(shè)，那么原假設(shè)肯定就是錯(cuò)誤的，這個(gè)是一定的。

3）P-Value值與顯著性水平

假設(shè)檢驗(yàn)，用來檢驗(yàn)樣本的統(tǒng)計(jì)量與總體參數(shù)，是否存在顯著性差異。那么如何才算顯著呢？我們就可以計(jì)算一個(gè)概率值(P-Value)，該概率值可以認(rèn)為就是支持原假設(shè)的概率，因?yàn)樵诩僭O(shè)檢驗(yàn)中，通常原假設(shè)為等值假設(shè)，因此，P-Value也就表示樣本統(tǒng)計(jì)量與總體參數(shù)無差異的概率。然后，我們再設(shè)定一個(gè)閾值，這個(gè)閾值叫做“顯著性水平 ” (使用α表示)，通常α的取值為0.05(1-α叫做置信度)。當(dāng)P-Value的值大于α?xí)r，接受原假設(shè)。當(dāng)P-Value的值小于α?xí)r，拒絕原假設(shè)。簡單記為：p值越小越拒絕原假設(shè)。軟件中一般都會(huì)展示這個(gè)p值，那里的p值，指的就是我們這里所敘述的p值。

假設(shè)檢驗(yàn)和參數(shù)估計(jì)是推斷統(tǒng)計(jì)的兩個(gè)組成部分，都是利用樣本對總體進(jìn)行某種推斷，但是兩者進(jìn)行推斷的角度不同。參數(shù)估計(jì)討論的是用樣本統(tǒng)計(jì)量估計(jì)總體參數(shù)的一種方法，總體參數(shù)在估計(jì)前是未知的。而假設(shè)檢驗(yàn)，則是對總體參數(shù)先提出一個(gè)假設(shè)，然后用樣本信息去檢驗(yàn)這個(gè)假設(shè)是否成立。

4）假設(shè)檢驗(yàn)的步驟

① 根據(jù)實(shí)際問題的要求，提出原假設(shè)和備擇假設(shè)。
② 給出顯著性水平α以及樣本容量n。
③ 確定檢驗(yàn)統(tǒng)計(jì)量和拒絕域。
④ 計(jì)算出檢驗(yàn)統(tǒng)計(jì)量的值，并作出決策。

5）單邊檢驗(yàn)和雙邊檢驗(yàn)

6）常用的假設(shè)檢驗(yàn)

① 單個(gè)正態(tài)總體均值的假設(shè)檢驗(yàn)法(Z檢驗(yàn)：方差已知)

Z檢驗(yàn)用來判斷樣本均值是否與總體均值具有顯著性差異。Z檢驗(yàn)是通過正態(tài)分布的理論來推斷差異發(fā)生的概率，從而比較兩個(gè)均值的差異是否顯著。Z檢驗(yàn)適用于：

• 總體呈正態(tài)分布。

• 總體方差已知。

• 樣本容量較大。
  

  

② 案例如下

③ 有個(gè)人說：鳶尾花的平均花瓣長度為3.5cm，這種說法可靠嗎？假設(shè)經(jīng)過長期大量驗(yàn)證，鳶尾花花瓣長度總體的標(biāo)準(zhǔn)差為1.8cm，我們就可以使用Z檢驗(yàn)來驗(yàn)證了。

from scipy import stats

iris = load_iris()
dt = np.concatenate([iris.data,iris.target.reshape(-1,1)],axis=1)
df = pd.DataFrame(dt,columns=iris.feature_names + ["types"])
display(df.sample(5))

mean = df["petal length (cm)"].mean()
n = len(df)
sigma = 1.8

z = (mean - 3.5) / (sigma / np.sqrt(n))
display(z)

結(jié)果如下：

④ 單個(gè)正態(tài)總體均值的假設(shè)檢驗(yàn)法(t檢驗(yàn)：方差未知)

t檢驗(yàn)，與Z檢驗(yàn)類似，用來判斷樣本均值是否與總體均值具有顯替性差異。不過，t檢驗(yàn)是基于t分布的。檢驗(yàn)適用于：

• 總體呈正態(tài)分布。

• 總體方差未知。

• 樣本容量較小。
  

  

⑤ 案例說明

⑥ 代碼演示

# 方法一
iris = load_iris()
dt = np.concatenate([iris.data,iris.target.reshape(-1,1)],axis=1)
df = pd.DataFrame(dt,columns=iris.feature_names + ["types"])
display(df.sample(5))

mean = df["petal length (cm)"].mean()
std = df["petal length (cm)"].std()
n = len(df)
display(mean,std)
t = (mean - 3.5) / (std / np.sqrt(n))
display(t)

# 方法二
from scipy import stats
stats.ttest_1samp(df["petal length (cm)"],3.5)

結(jié)果如下：

歡迎掃碼關(guān)注作者的CSDN：

猜你喜歡：

快速提高Python數(shù)據(jù)分析速度的八個(gè)技巧

Python數(shù)據(jù)結(jié)構(gòu)：字典那些事兒

可以用統(tǒng)計(jì)模型做決策嗎

人生若只如初見：初識(shí)統(tǒng)計(jì)學(xué)

@ 號主：可樂

@ 公眾號/知乎專欄/頭條/簡書：可樂的數(shù)據(jù)分析之路
@ 加微信（data_cola）備注：進(jìn)群，拉你進(jìn)可樂的數(shù)據(jù)分析交流群，每日數(shù)據(jù)分析知識(shí)總結(jié)，不定期行業(yè)經(jīng)驗(yàn)分享