大数据需求分析

 
学习思路：
1.需求是什么？
2.方案是什么？
3.逻辑是什么？
4.开发中的问题？怎么解决？
 
 
整体流量概况：
1.累计用户量
2.每日新增用户量
3.每日的访问人数、次数
4.每日的全部访问人均次数、时长和深度
5.计算用户平均会话数
6.计算当日访问IP数
7.新老用户访问占比
8.每日新老用户分布情况
9.每日新老用户在各个省下的分布
10.每个页面访问次数分布
11.每个版本的使用情况
 
 
用户获取：
新增用户量=自然流量+渠道流量
渠道新增用户量
各个渠道新用户人均使用时长
各个渠道的新用户转化率
异常流量分析
 
用户特征:
按地区（省市区）、性别、操作系统、注册时间、浏览器（Chrome、IE、FireFox）
版本的访问的流量分析
不同版本的人均使用时长
各个版本留存
 
事件转化：
新老用户事件发生次数、人数、人均次数
事件次数分段分布（0~1）（1~10）（10~50）
 
 
技术选型：
1.数据量大小
2.业务需求
3.行业内的经验
4.技术成熟度
5.开发维护成本
6.总成本预算
 
组件版本选择：
1.不要选择最新的版本
2.最新版本半年前左右的稳定版
3. 3.1.1 3.1.2 3.2
 
物理机：
128G 20c 40T 8THHD 2TSSD 4W
人、电、物理机：5w
 
集群服务分配：
1.负载均衡
2.保证服务依赖关系尽可能在同一台节点上
数仓部署和理解,hive管理