Hive数仓操纵（一）

Hive 先容

Hive 是一个基于 Hadoop 的数据堆栈工具，旨在简化大规模数据集的管理和分析。它将结构化数据文件映射为表，并提供雷同 SQL 的查询功能。Hive 的数据存储在 Hadoop 分布式文件体系（HDFS）中，使用 Hive 查询语言（HQL）举行数据处理惩罚。
1. Hive 的本质： HQL转化为MapReduce

  

• 数据存储：Hive 的数据存储在 HDFS 中。  
  
• 底层实现：Hive 通过 MapReduce 框架处理惩罚数据，恰当大数据量的分析使命。  
  
• 实行耽误：Hive 的实行耽误较高，恰当于对及时性要求不高的数据分析场景。
  

<hr> 2. Hive 的实行流程

  

• 剖析器 (SQL Parser)：
  
     
  
  • 将 SQL 字符串转换为抽象语法树 (AST)。   
    
  • 使用第三方工具库（如 ANTLR）完成。   
    
  • 对 AST 举行语法分析，包罗表和字段是否存在，以及 SQL 语义的准确性。   
    
     
  
• 编译器 (Physical Plan)：
  
     
  
  • 将 AST 编译天生逻辑实行筹划。   
    
     
  
• 优化器 (Query Optimizer)：
  
     
  
  • 对逻辑实行筹划举行优化  
    
  
  

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！qidao123.com:ToB企服之家，中国第一个企服评测及软件市场,开放入驻,技术点评得现金