结合假设检验的理论知识，本文使用Python对实际数据进行假设检验。
导入测试数据
从线上下载测试数据文件，数据链接：https://pan.baidu.com/s/1t4SKF6U2yyjT365FaE692A*
数据字段说明：
gender：性别，1为男性，2为女性
Temperature:体温
HeartRate：心率
下载后，使用pandas的read_csv函数导入数据。
import numpy as np
import pandas as pd
from scipy import stats
test_df = pd.read_csv('test.csv')
问题清单
针对此测试数据，提出以下问题：
- 人体体温的总体均值是否为98.6华氏度？
- 人体的温度是否服从正态分布?
- 人体体温中存在的异常数据是哪些？
- 男女体温是否存在明显差异？
- 体温与心率间的相关性(强？弱？中等?)
解题步骤
1. 体温的总体均值是否为98.6华氏度？
解法1：
此问题可以转化为假设检验问题，可以假设：
$H_0: mu = 96.8 ( )H_1: mu eq 96.8 $
这是一个双侧检测问题，所以只要(mu>mu_0)或(mu<mu_0)二者之中有一个成立，就可以拒绝原假设。
根据人大《统计学》第7版p163：
在样本量大的条件下，如果总体为正态分布，则样本统计量服从正态分布；如果总体为非正态分布，则样本统计量渐近服从正态分布。在这些情况下，我们都可以把样本统计量视为正态分布，这时可以使用(z)统计量。
本题中，总体标准差(sigma)未知，可以用样本标准差(s)代替。
## 计算Z统计量
mu = 96.8
temp = test_df['Temperature']
# 样本均值
sample_mean = np.mean(temp)
# 样本方差
sample_std = np.std(temp, ddof=1)
# 样本个数
sample_size = temp.size
z = (sample_mean-mu)/(sample_std/np.sqrt(sample_size))
print(z)
22.537033076347175
按照双侧检验的原理，在显著性水平(alpha=0.05)情况下
(z_{frac{alpha}{2}}=pm 1.96)
因为(|z|>|z_{frac{alpha}{2}}|)，所以拒绝原假设，人体体温的总体均值不是98.6华氏度。
解法2：
可以直接使用statsmodels包的statsmodels.stats.weightstats.ztest函数直接执行计算，http://www.statsmodels.org/stable/generated/statsmodels.stats.weightstats.ztest.html
用法如下：
statsmodels.stats.weightstats.ztest(x1, x2=None, value=0, alternative='two-sided', usevar='pooled', ddof=1.0)[source]
2. 人体的温度是否服从正态分布?
解法：
参考Python验证数据的抽样分布类型，先画出分布的直方图，然后使用scipy.stat.kstest函数进行判断。
%matplotlib inline
import seaborn as sns
sns.distplot(temp, color='b', bins=10, kde=True)
简单从图形看，大于99.3之后的数据分布极少。初步认为不符合正态分布。
然后使用kstest验证。
In: stats.kstest(temp, 'norm')
Out: KstestResult(statistic=1.0, pvalue=0.0)
可以发现pvalue<0.05，即认为体温不符合正态分布。
判断是否服从t分布:
In: np.random.seed(1)
ks = stats.t.fit(temp)
df = ks[0]
loc = ks[1]
scale = ks[2]
t_estm = stats.t.rvs(df=df, loc=loc, scale=scale, size=sample_size)
stats.ks_2samp(temp, t_estm)
Out: Ks_2sampResult(statistic=0.11538461538461536, pvalue=0.33281734591562734)
此处的思路是先用t分布拟合区域收入均值，然后使用ks_2samp函数比较区域收入均值和t分布的随机变量。因为pvalue大于0.05，认为该数据集服从t分布。
判断是否服从卡方分布:
In: np.random.seed(1)
chi_square = stats.chi2.fit(temp)
df = chi_square[0]
loc = chi_square[1]
scale = chi_square[2]
chi_estm = stats.chi2.rvs(df=df, loc=loc, scale=scale, size=sample_size)
stats.ks_2samp(temp, chi_estm)
Out: Ks_2sampResult(statistic=0.07692307692307687, pvalue=0.8215795712396048)
pvalue为0.82，说明体温数据更服从卡方分布。可以使用以下方式，画出拟合的卡方分布和测试数据的对比图。
from matplotlib import pyplot as plt
plt.figure()
temp.plot(kind = 'kde')
chi2_distribution = stats.chi2(chi_square[0], chi_square[1],chi_square[2])
x = np.linspace(chi2_distribution.ppf(0.01), chi2_distribution.ppf(0.99), 100)
plt.plot(x, chi2_distribution.pdf(x), c='orange')
plt.xlabel('Human temperature')
plt.title('temperature on chi_square', size=20)
plt.legend(['test_data', 'chi_square'])
3. 人体体温中存在的异常数据是哪些？
解法：
已知体温数据服从卡方分布的情况下，可以直接使用Python计算出P=0.025和P=0.925时的分布值，在分布值两侧的数据属于小概率，认为是异常值。
In: chi2_distribution.ppf(0.025)
Out:97.0690523831819
In: chi2_distribution.ppf(0.925)
Out:99.332801136025
In: temp[temp<97.069]
Out:0 96.3
1 96.7
2 96.9
3 97.0
65 96.4
66 96.7
67 96.8
Name: Temperature, dtype: float64
In: temp[temp>99.332]
63 99.4
64 99.5
126 99.4
127 99.9
128 100.0
129 100.8
Name: Temperature, dtype: float64
4. 男女体温是否存在明显差异？
解法：
此题是一道两个总体均值之差的假设检验问题，因为是否存在差别并不涉及方向，所以是双侧检验。建立原假设和备择假设如下：
(H_0: mu_1 - mu_2 = 0) 没有显著差别
(H_1: mu_1 - mu_2 e 0) 有显著差别
由于(sigma_1^2),(sigma_2^2)未知，也无法断定(sigma_1^2=sigma_2^2)是否成立，且(n_1),(n_2)的数量为65。
In: test_df.groupby(['Gender']).size()
Out:Gender
1 65
2 65
dtype: int64
在此样本量情况，抽样分布近似服从自由度为f的t分布，其中f为：
检验统计量t的计算公式为：
male_df = test_df.loc[test_df['Gender'] == 1]
female_df = test_df.loc[test_df['Gender'] == 2]
- 方法一：构建统计量计算函数
def cal_f(a, b):
n_1 = len(a)
n_2 = len(b)
mean_1 = a.mean()
mean_2 = b.mean()
std_1 = a.std()
std_2 = b.std()
s_1 = std_1**2/n_1
s_2 = std_2**2/n_2
f = (s_1 + s_2)**2 / (s_1**2/(n_1 - 1) + s_2**2/(n_2 -1))
print('degree of freedom=%.3f', % f)
t = (mean_1 - mean_2)/np.sqrt(s_1 + s_2)
# 计算边界值，设置显著性水平为0.05，双侧检验，取边界值为0.025
v = stats.t.ppf(0.025, f)
print('stat=%.3f, boudary=%.3f' % (t, v))
if abs(t)>abs(v):
print("拒绝原假设，男女体温存在明显差异。")
else:
print("不能拒绝原假设，男女体温无明显差异。")
调用自定义函数
In: cal_f(male_df['Temperature'],female_df['Temperature'])
Out:degree of freedom=127.510
stat=-2.285, boudary=-1.979
拒绝原假设，男女体温存在明显差异。
- 方法2，使用ttest_ind函数1
stats.t.ppf(0.025, 127.51)
stat, p = stats.ttest_ind(male_df['Temperature'],female_df['Temperature'])
print('stat=%.3f, p=%.3f' % (stat, p))
if p > 0.05:
print('不能拒绝原假设，男女体温无明显差异。')
else:
print('拒绝原假设，男女体温存在明显差异。')
Out：
stat=-2.285, p=0.024
拒绝原假设，男女体温存在明显差异。
注意：此函数计算得出的p值为双侧概率的累加，所以直接与显著性水平0.05进行比较。可以用以下方式证明是双侧概率：
# 将方法1中的统计值代入t分布的概率分布
In: stats.t.cdf(stat, 127.51)
Out:0.011969134059074056
上述结果正好是双侧概率的一半。
5. 体温与心率间的相关性
可以使用皮尔逊相关性系数2检验两组数据之间的关系。在处理前，可以先用散点图展示下两者在二维空间上的分布。
heartrate_s = test_df['HeartRate']
temperature_s = test_df['Temperature']
from matplotlib import pyplot as plt
plt.scatter(heartrate_s, temperature_s)
计算皮尔逊相关系数3：
In: stat, p = stats.pearsonr(heartrate_s, temperature_s)
print('stat=%.3f, p=%.3f' % (stat, p))
Out:stat=0.254, p=0.004
已知皮尔逊相关系数为0，数据无相关性，而大于0表示有正相关性，当为1时完全正相关。因为结果为0.004，体温和心率之间可以认为基本无相关性。从图形上也可以发现四散分布，缺乏相关性。
参考资料
欢迎扫描二维码进行关注