數(shù)據(jù)分析師，無疑是數(shù)據(jù)時(shí)代最耀眼的職業(yè)之一，而統(tǒng)計(jì)學(xué)，又是數(shù)據(jù)分析師必備的基礎(chǔ)知識(shí)。

知識(shí)點(diǎn)匯總：

1.集中趨勢(shì)(Central Tendency)

2.變異性(Variability)

3.歸一化(Standardizing)

4.正態(tài)分布(Normal Distributions)

5.抽樣分布(Sampling Distributions)

6.估計(jì)(Estimation)

7.假設(shè)檢驗(yàn)(Hypothesis testing)

8.T檢驗(yàn)(T-test)

一、集中趨勢(shì)(Central Tendency)

1.眾數(shù) 出現(xiàn)頻率最高的數(shù);

2.中位數(shù)

把樣本值排序，分布在最中間的值;

樣本總數(shù)為奇數(shù)時(shí)，中位數(shù)為第(n+1)/2個(gè)值;

樣本總數(shù)為偶數(shù)時(shí)，中位數(shù)是第n/2個(gè)，第(n/2)+1個(gè)值的平均數(shù);

3.平均數(shù)

所有數(shù)的總和除以樣本數(shù)量;

小結(jié)： 現(xiàn)在大家接觸最多的概念應(yīng)該是 平均數(shù)，但有時(shí)候，平均數(shù)會(huì)因?yàn)槟承O值(Outlier)的出現(xiàn)收到很大影響;

舉個(gè)小例子，你們班有20人，大家收入差不多，19人都是5000左右，但是有1個(gè)同學(xué)創(chuàng)業(yè)成功了，年入1個(gè)億，這時(shí)候統(tǒng)計(jì)你們班同學(xué)收入的“平均數(shù)”就是500萬了，這也很好的解釋了，每年各地的平均收入數(shù)據(jù)出爐，小伙伴們直呼給祖國拖后腿了，那是因?yàn)榇蠹沂杖氡黄骄?，此時(shí)，“中位數(shù)”更能合理的反映真實(shí)的情況;

二、變異性(Variability)

1.四分位數(shù) 上面說到了“中位數(shù)”，把樣本分成了2部分，再找個(gè)這2部分各自的“中位數(shù)”，也就把樣本分為了4個(gè)部分，其中1/4處的值記為Q1，2/4處的值記為Q2，3/4處的值記為Q3

2.四分位距 IQR=Q3-Q1

　　四分位數(shù).jpg

3.異常值(Outlier)：

小于Q1-1.5(IQR)或者大于Q3+1.5(IQR);

對(duì)于異常值，我們?cè)谔幚頃r(shí)需要剔除;

4.方差(Variance)

　　2方差variance.jpg

5.平方偏差(Standard Deviation) -方差的算術(shù)平方根

6.貝塞爾矯正：修正樣本方差 -問：為什么要用貝塞爾矯正?

實(shí)際在計(jì)算方差時(shí)，分母要用n-1，而不是樣本數(shù)量n，原因如下

　　3貝塞爾矯正.jpg

三、歸一化(Standardizing)

1.標(biāo)準(zhǔn)分?jǐn)?shù)(Z-score)

一個(gè)給定分?jǐn)?shù) 距離 平均數(shù) 多少個(gè)標(biāo)準(zhǔn)差?

標(biāo)準(zhǔn)分?jǐn)?shù)是一種可以看出某分?jǐn)?shù)在分布中相對(duì)位置的方法。

標(biāo)準(zhǔn)分?jǐn)?shù)能夠真實(shí)的反映一個(gè)分?jǐn)?shù)距離平均數(shù)的相對(duì)標(biāo)準(zhǔn)距離。

　　4歸一化standardizing.jpg

四、正態(tài)分布(Normal Distributions)

1.定義：隨機(jī)變量X服從一個(gè)數(shù)學(xué)期望為μ，方差為σ2的正態(tài)分布，記為N(μ,σ2)

隨機(jī)取一個(gè)樣本，有68.3%的概率位于距離均值μ有1個(gè)標(biāo)準(zhǔn)差σ內(nèi);

有95.4%的概率位于距離均值μ有2個(gè)標(biāo)準(zhǔn)差σ內(nèi);

有99.7%的概率位于距離均值μ有3個(gè)標(biāo)準(zhǔn)差σ內(nèi);

　　5正態(tài)分布normal distribution.jpg

2.Z-表格的查閱

五、抽樣分布(Sampling Distributions)

1.中心極限定理(Central Limit Theorem)

設(shè)從均值為μ，方差為σ2的任意一個(gè)總體中抽取樣本量為n的樣本，當(dāng)n充分大時(shí)，樣本均值的抽樣分布近似服從均值為μ、方差為σ2/n的正態(tài)分布

2.抽樣分布(Sampling Distributions)

設(shè)總體共有N個(gè)元素，從中隨機(jī)抽取一個(gè)容量為n的樣本，在重置抽樣時(shí)，共有N·n種抽法，即可以組成N·n不同的樣本，在不重復(fù)抽樣時(shí)，共有N·n個(gè)可能的樣本。每一個(gè)樣本都可以計(jì)算出一個(gè)均值，這些所有可能的抽樣均值形成的分布就是樣本均值的分布。但現(xiàn)實(shí)中不可能將所有的樣本都抽取出來，因此，樣本均值的概率分布實(shí)際上是一種理論分布。數(shù)理統(tǒng)計(jì)學(xué)的相關(guān)定理已經(jīng)證明：在重置抽樣時(shí)，樣本均值的方差為總體方差的1/n

視頻中的例子：

48盆MM豆，計(jì)算出每盆有幾個(gè)藍(lán)色的MM豆，48個(gè)數(shù)據(jù)構(gòu)成了總體樣本。然后隨機(jī)選擇五盆，計(jì)算五盆中含有藍(lán)色MM豆的平均數(shù)，然后反復(fù)進(jìn)行了50次。這就是n為5的樣本均值抽樣。

　　6抽樣分布sampling distributions.jpg

六、估計(jì)(Estimation)

1. 誤差界限(Margin of error)

　　7誤差界限margin of error.jpg

2. 置信度(Confidence level)

We are some % sure the true population parameter falls within a specific range

我們有百分之多少確信總體中的值落在一個(gè)特定范圍內(nèi);

一般情況下，取95%的置信度就可以;

3. 置信區(qū)間(Confidence Interval)

　　8置信區(qū)間.jpg

七、假設(shè)檢驗(yàn)(Hypothesis testing)

　　9假設(shè)檢驗(yàn)hypothesis testing.jpg

1. 問題：什么是顯著性水平?

顯著性水平是估計(jì)總體參數(shù)落在某一區(qū)間內(nèi)，可能犯錯(cuò)誤的概率，也就是Type I Error

A Type II Error is when you fail to reject the null when it is actually false.

　　9假設(shè)檢驗(yàn)-零假設(shè)和對(duì)立假設(shè).jpg

　　9.3假設(shè)檢驗(yàn)-案例：雞.jpg

　　9.4假設(shè)檢驗(yàn)-案例：雞.jpg

作者：zhengweiyu 原文地址：https://discussions.youdaxue.com/t/topic/29031

2. 如何選擇備選檢驗(yàn)和零假設(shè)?

一個(gè)研究者想證明自己的研究結(jié)論是正確的，備擇假設(shè)的方向就要與想要證明其正確性的方向一致;

同時(shí)將研究者想收集證據(jù)證明其不正確的假設(shè)作為原假設(shè)H0

推薦閱讀：http://bbs.pinggu.org/thread-1071082-1-1.html

八、T檢驗(yàn)(T-test)

1. 主要用于樣本含量較小(例如n<30)，總體標(biāo)準(zhǔn)差σ未知的正態(tài)分布。

流程如下：

　　10.t檢驗(yàn).jpg

是用t分布理論來推論差異發(fā)生的概率，從而比較兩個(gè)平均數(shù)的差異是否顯著;

一般檢驗(yàn)水準(zhǔn)α取0.05即可;

計(jì)算檢驗(yàn)統(tǒng)計(jì)量的方法根據(jù)樣本形式不同;

2. 獨(dú)立樣本T檢驗(yàn)：

現(xiàn)在要分析男生和女生的身高是否相同兩者的主要區(qū)別在于數(shù)據(jù)的來源和要分析的問題。

　　10.1 t檢驗(yàn).jpg

問題：為什么T檢驗(yàn)查表時(shí)候要n-1?

樣本均值替代總體均值損失了一個(gè)自由度

3. 配對(duì)樣本t檢驗(yàn)：

分析人的早晨和晚上的身高是否不同，于是找來一撥人測(cè)他們?cè)缟虾屯砩系纳砀?，這里每個(gè)人就有兩個(gè)值，這里出現(xiàn)了配對(duì)

　　10.3 t檢驗(yàn)-配對(duì)樣本.jpg

樣本誤差(Standard Error)

　　10.4 t檢驗(yàn)-樣本誤差.jpg

　　10.5 t檢驗(yàn)-樣本誤差2.jpg

4. Pooled variance 合并方差

當(dāng)樣本平均數(shù)不一樣，但實(shí)際上認(rèn)為他們的方差是一樣的時(shí)候，需要合并方差

不要被公式嚇到，他的本質(zhì)是兩個(gè)樣本方差加權(quán)平均

10.6 t檢驗(yàn)-合并方差1.jpg

　　10.6 t檢驗(yàn)-合并方差2.jpg

5. Cohen’s d

效應(yīng)量(effect size):提示組間真正的差異占統(tǒng)計(jì)學(xué)差異的比例，值越大，組間差異越可靠。

　　10.7 t檢驗(yàn)-cohen's d.jpg

10.7 t檢驗(yàn)-cohen's d2.jpg