均值的比较 2(零假设检验 Null Hypothesis Significance Test NHST)

NHST注意事项

含义
NHST的含义仅仅是\(\mathsf{P}(x>\mathsf{Data}|H_0)\)

1. 只反应数据和假设的兼容性
2. 不能推断\(H_0,H_1\)成立的概率
3. 不能直接回答真正关心的问题：\(\mathsf{P}(H_0|\mathsf{Data})\)

统计显著性α不等于实际显著性

1. n足够大时，尽管差距很小，p仍然可以很小
2. p很小不代表实际差距很大

常见错误：

1. p值之间的比较：两组实验组，分别和对照组求p，p=0.04的结果要比p=0.05的结果更显著吗？不
2. 只做了一次实验就不能讲概率

p值到底反映了什么？

1. p<0.05，说明两个样本均值差异有显著性（在0假设成立的情况下）
2. p<0.05，说明两个总体均值存在差异的显著性很大？错误
3. “认为0假设错误”这个结论错误的概率小于p值

4.2.1 NHST与CI的关系

1. NHST的回答比CI简洁，只回答Yes or No
2. NSHT没有CI准确，CI还提供大/小多少的信息
3. NSHT要回答的问题都可以用CI回答

4.2.2 NHST的推理逻辑

详见概统笔记

1. 先做零假设和备择假设

   • 什么样的假设可以作为零假设
   1. 假设完可以确定枢轴量的分布
   2. 用想要拒绝的做假设
   3. 不能用p不够小来确定其成立

2. 选择枢轴量

3. 根据枢轴量在\(H_0\)成立时的分布，根据检验方式算概率（p值）

   1. 双边检验：\(p=P(|x|\geq|X|)\)
   2. 右侧检验：\(p=P(x\geq X)\)
   3. 左侧检验：\(p=P(x\leq X)\)

4. 检验p的显著性水平，如果p<α，则拒绝原假设，\(H_1\)成立

4.2.3 单样本t检验

总体\(\sigma^2\)未知，使用t分布
拒绝域是同α下CI的补集

python代码click

t,p=stats.ttest_1samp(a,b, altenative="two-sided")
a,b输入数据，mu是零假设的均值，alternative选择检验方式
输出t是枢轴量的观测值，p是p值

4.2.4 双样本t检验

4.2.4.1 配对的样本

配对做差，和单样本相同

python代码click

t,p=stats.ttest_rel(a,b,alternative)
data输入数据，alternative选择检验方式，默认mu=0
输出t是枢轴量的观测值，p是p值

4.2.4.2 独立的样本

和单样本类似的，拒绝域都是相应的α下的CI的补集

python代码click

t,p=stats.ttest_ind(data1,data2,equal_val,alternative)
data1,2是数据输入，equal_var选择方差是否相同，alternative选择检验方式，默认mu=0
输出t是枢轴量的观测值，p是p值