3Hive数据抽样

[复制链接]
发表于 2025-11-9 08:26:35 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。

您需要 登录 才可以下载或查看,没有账号?立即注册

×
当数据规模不绝膨胀时,我们必要找到一个数据的子集来加快数据分析服从。因此我们就必要通过筛选和分析数据集为了举行模式 & 趋势辨认。现在来说有三种方式来举行抽样:随机抽样,桶表抽样,和块抽样。
1 随机抽样

关键词:rand()函数。
使用rand()函数举行随机抽样,limit关键字限定抽样返回的数据,此中rand函数前的distribute和sort关键字可以包管数据在mapper和reducer阶段是随机分布的。
案比方下:
  1. select * from table_name
  2. where col=xxx
  3. distribute by rand() sort by rand()
  4. limit num;
复制代码
使用order 关键词:
案比方下:
  1. select * from table_name
  2. where col=xxx
  3. order by r
复制代码
回复

使用道具 举报

登录后关闭弹窗

登录参与点评抽奖  加入IT实名职场社区
去登录
快速回复 返回顶部 返回列表