StarRocks x Paimon 构建极速及时湖仓分析架构实践

Paimon 先容
  Apache Paimon 是新一代的湖格式，可以利用 Flink 和 Spark 构建及时 Lakehouse 架构，以举行流式处理惩罚和批处理惩罚操纵。Paimon 创新性地利用 LSM（日志布局归并树）布局，将及时流式更新引入 Lakehouse 架构中。
  Paimon 提供以下核心功能：
  

   

• 高效及时更新：高吞吐和低耽误的数据摄入和更新
     
  
• 同一的批处理惩罚和流处理惩罚：同时支持批量读写和流式读写
     
  
• 丰富的数据湖功能：ACID， Time Travel 和 Schema Evolution 等
    
  

    StarRocks 先容
  Linux 基金会项目 StarRocks 是新一代极速全场景 MPP (Massively Parallel Processing) 数据库，遵照 Apache 2.0 开源协议。StarRocks 架构简便，接纳了全面向量化引擎，并配备全新计划的 CBO (Cost Based Optimizer) 优化器，查询速率（尤其是多表关联查询）远超同类产物。
  StarRocks 不但能高效的分析本地存储的数据，也可以作为盘算引擎直接分析数据湖中的数据。用户可以通过 StarRocks 提供的 External Catalog，轻松查询存储在 Apache Paimon 数据湖上的数据，无需举行数据迁移。支持的存储体系包罗 HDFS、阿里云 OSS、阿里云 OSS-HDFS 等
  本文将先容怎样利用 StarRocks 和 Paimon 构建高效的数据湖分析架构，利用 StarRocks 到达极致的 Paimon 查询服从，并给出具体的操纵步调和性能测试数据。
  本文紧张内容：

  

• 快 - 利用 StarRocks 直接查询 Paimon 湖格式
    
  
• 更快 - 开启 Data cache 查询 Paimon 湖格式
    
  
• 超等快 - 构建异步物化视图查询 Paimon 湖格式
  
  

PART/ 01 快-利用 StarRocks 直接查询 Paimon 湖格式

StarRocks 支持 Catalog（数据目次）功能，实如今一套体系内同时维护内、外部数据，不必要手动建外表，指定命据源路径，即可轻松访问并查询各类数据湖格式，比方 Hive，Paimon，Iceberg 等。开箱即用，不必要任何数据导入和迁移。
比方：在 StarRocks 里创建一个 filesystem 范例的 Paimon Catalog：

1. CREATE EXTERNAL CATALOG paimon_fs_catalog
2. properties
3. (
4.     "type" = "paimon",
5.     "paimon.catalog.type" = "filesystem",
6.     "paimon.catalog.warehouse" = "oss://<bucket>/paimon/warehouse"
7. );

复制代码

1. [/code] 实行 SQL 查询 Paimon 数据湖（以 TPC-H Q1 为例）：
2. [code]select
3.   l_returnflag,
4.   l_linestatus,
5.   sum(l_quantity) as sum_qty,
6.   sum(l_extendedprice)

复制代码