马上注册，结交更多好友，享用更多功能，让你轻松玩转社区。
您需要 登录 才可以下载或查看，没有账号？立即注册
×
很多刚入行乃至想入行数据分析的朋侪，通常会陷入一个误区：以为数据分析就是不绝地做报表、画饼图。
着实，数据分析的焦点魅力在于 “推断”——即见微知著。
在现实生存中，我们很难获取“全量数据”（好比你不大概观察天下每一个人的身高），那么，怎样通过手中的“小样本”去推测“大总体”的规律？
这就须要用到统计学中的推断分析。
本文将团结代码来先容推断分析中最常用的三大方法：参数估计、假设查验、非参数查验。
1. 参数估计
想象你在煮一锅排骨汤。你想知道汤咸不咸，你不会把整锅汤都喝完，而是舀起一勺尝一尝。
- 那一勺汤就是样本。
- 那一勺的咸度就是样本统计量。
- 整锅汤的咸度就是我们要猜的总体参数。
参数估计就是：根据样本的特性（好比样本均值），去估计总体的特性（好比总体均值）。
它通常分为两种：
- 点估计：直接说“这锅汤是1.5%的盐度”。（但这很轻易被打脸，由于太绝对）
- 区间估计：说“这锅汤的盐度在1.4%到1.6%之间，我有95%的把握”。（这就是置信区间，更科学）
区间估计是最常利用的方式，下面通过一个示例来演示参数估计的具体利用。- import numpy as np
- from scipy import stats
- # 1. 模拟数据
- np.random.seed(42)
- true_mean = 15 # 上帝视角的真实均值
- sample_salaries = np.random.normal(loc=true_mean, scale=3, size=100) # 模拟100个样本
- # 2. 计算统计量
- sample_mean = np.mean(sample_salaries)
- sample_std = np.std(sample_salaries, ddof=1)
- n = len(sample_salaries)
- # 计算95%置信区间
- # 这里的 scale 使用的是标准误 (Standard Error) = 样本标准差 / sqrt(n)
- conf_int = stats.t.interval(
- confidence=0.95, df=n - 1, loc=sample_mean, scale=sample_std / np.sqrt(n)
- )
- lower_bound, upper_bound = conf_int
- print(f"样本均值: {sample_mean:.2f}k")
- print(f"95%置信区间: [{lower_bound:.2f}k, {upper_bound:.2f}k]")
- # 运行结果：
- '''
- 样本均值: 14.69k
- 95%置信区间: [14.15k, 15.23k]
- '''
从图中可以看出：
- 灰色的散点：是你调研的那100个数据分析师的工资。你会发现有的高有的低，散落在各地。
- 蓝色的点和横线：
- 蓝点是你算出来的样本均值（约14.67k），固然不完全便是真实的15k，但很靠近。
- 蓝色的横线就是置信区间。它的寄义是：“固然我不知道确切数字，但我敢赌钱，真实数字就在这根蓝线的范围内。”
- 赤色的虚线：这是真实的总体均值（15k）。
- 结论：你可以清晰地看到，赤色的虚线确实穿过了蓝色的横线。恭喜你！这次“参数估计”乐成捕获了真理！
数据分析不是算命，算出来的不是一个死的数字，而是一个科学的范围。
我们就是用参数估计的方法，在不确定性中探求确定性。
2. 假设查验
假设查验是数据分析中最常用的决议工具。它的逻辑是：先立一个Flag（假设），然后看证据（数据）是否打脸。
- 原假设 ：通常代表“无事发生”、“没有变革”、“运气好”。
- 备择假设：通常代表“有事发生”、“真的有效果”。
- P值：表现原假设创建时，出现当前数据的概率。P值越小，分析原假设越不靠谱（通常以0.05为边界）。
下面通过一个电商APP的A/B测试场景，来演示假设查验的利用。
假设某电商APP想把 “购买” 按钮从 蓝色 改成 赤色 。
- 原假设：赤色按钮和蓝色按钮的转化率没区别（差别纯属偶尔）。
- 备择假设：赤色按钮的转化率显着高于蓝色按钮。
我们收罗了两组用户的斲丧金额数据来举行T查验。- # 1. 模拟AB测试数据
- # 蓝色按钮组（对照组）：平均消费 100元
- group_blue = np.random.normal(loc=100, scale=20, size=1000)
- # 红色按钮组（实验组）：平均消费 105元 (我们要检验这个提升是否显著)
- group_red = np.random.normal(loc=105, scale=25, size=1000)
- # 2. 进行独立样本T检验 (T-test)
- t_stat, p_val = stats.ttest_ind(group_blue, group_red)
- print(f"P值: {p_val:.5f}")
- # 3. 判断结论
- alpha = 0.05
- if p_val < alpha:
- print("结论：拒绝原假设。红色按钮带来的消费提升是【统计显著】的，建议全量上线！")
- else:
- print("结论：无法拒绝原假设。两组差异可能是误差导致的，建议维持原状。")
- # 运行结果：
- '''
- P值: 0.00000
- 结论：拒绝原假设。红色按钮带来的消费提升是【统计显著】的，建议全量上线！
- '''
从图中，我们可以看出，两条曲线（赤色和蓝色）着实重叠度很高。
对于新手，看到这个图，大概会陷入一个误区，以为“这两座山峰看起来差不多嘛，没啥区别”。
但在统计学上，两座山峰的 “重心” （均值）发生了 显着偏移 。这就是假设查验的威力--在重叠的噪声中辨认出偏移的信号。
3. 非参数估计
前面的 “参数估计” 和 “T查验” 都有一个娇气的性情：它们通常假设数据是服从 “正态分布” 的（也就是美丽的钟形曲线）。
但在现实生存中，很多数据并不正态，大概数据乃至是定序的（好比：非常满足、满足、一样平常、不满足）。
这时间，传统的 T查验 就失效了，我们须要请出 非参数查验 。
它不依赖数据的分布外形，非常抗造。
假设我们要对比两款手游《王者光彩》和《原神》玩家天天的嬉戏时长。
由于《原神》玩家大概存在大量的“长尾”用户（玩特殊久），数据通常是严峻右偏的，不符合正态分布。
这时间对比两组数据差别，就不能用T查验，我们利用非参数估计中的一种方式：曼-惠特尼U查验 (Mann-Whitney U test)。- # 1. 模拟非正态分布数据 (使用指数分布模拟由偏数据)
- # 游戏A：平均时长较短
- game_a_hours = np.random.exponential(scale=1.0, size=100)
- # 游戏B：平均时长较长
- game_b_hours = np.random.exponential(scale=1.5, size=100)
- # 2. 首先，检查一下正态性 (Shapiro-Wilk检验)
- # 如果P < 0.05，说明不是正态分布
- _, p_norm_a = stats.shapiro(game_a_hours)
- print(f"游戏A正态性检验P值: {p_norm_a:.4f} (小于0.05则非正态)")
- # 3. 使用非参数检验：Mann-Whitney U检验
- # 它可以比较两个独立样本的分布是否存在差异（侧重于中位数/秩次的比较）
- u_stat, p_val_nonparam = stats.mannwhitneyu(game_a_hours, game_b_hours, alternative='two-sided')
- print(f"Mann-Whitney U检验 P值: {p_val_nonparam:.5f}")
- if p_val_nonparam < 0.05:
- print("结论：两款游戏的玩家游玩时长分布存在显著差异。")
- else:
- print("结论：两款游戏玩家游玩时长无显著差异。")
- # 运行结果：
- '''
- 游戏A正态性检验P值: 0.0000 (小于0.05则非正态)
- Mann-Whitney U检验 P值: 0.00003
- 结论：两款游戏的玩家游玩时长分布存在显著差异。
- '''
只管数据长得歪瓜裂枣（严峻右偏），U查验依然妥当地告诉我们：这两组数据不一样。
U查验比力的不但仅是匀称值，它更多是在比力 “秩次”（Ranking）。
平凡点说，它发现假如我们把两组玩家混在一起排名，Game B的玩家纵然不看具体时长，排名也广泛比Game A的玩家靠前。
从图中来看，你会看到橙色（Game B）的尾巴显着比蓝色（Game A）拖得更长、更丰富。
这分析Game B（好比《原神》）更轻易让玩家陶醉更久，大概拥有更多的重度玩家。
4. 总结
恭喜你！你已经把握了数据推断分析的焦点逻辑：
- 参数估计：当你只有样本，想知道总体的数值范围时利用。（好比估算匀称薪资）
- 假设查验：当你数据比力“完善”（正态分布），想判定差别是不是真的时利用。（好比A/B测试）
- 非参数查验：当你数据分布希奇、大概只有排名/品级数据时利用。（好比评分对比、长尾数据分析）
这三板斧是数据分析师行走江湖的必备技能。把握了它们，你就不但仅是一个“做表的”，而是一个能从数据中发掘本相的“侦探”！
|
发表于 2025-12-8 20:39:43