中心件--ClickHouse-4--向量化实行（什么是向量？为什么向量化实行的更快？）

1、向量（Vector）的概念

（1）、向量的界说

• 向量：在盘算机科学中，向量是一组同范例数据的有序聚集，比方一个包罗多个数值的数组。在数据库中，向量通常指批量数据（如一列数据的多个值构成的聚集）。
  理解：Java中的一个int数组或String列表等都算一个向量。
  示例：
  

1. 向量 A = [1, 2, 3, 4, 5]

复制代码

• 向量化（Vectorization）：通过单条指令同时对多个数据元素进行利用的技能，比方用一条指令对一个向量中的全部元素实行加法运算。
  

（2）、向量的特点

• 同质性：向量中的全部元素都属于同一数据范例。
  
• 连续性：向量中的数据在内存中是连续存储的，这使得访问和利用非常高效。
  
• 批量处理惩罚：可以一次性对整个向量进行利用，而不是逐条处理惩罚单个元素。
  

（3）、向量在ClickHouse中的详细情势

• 数据块（Block）：
  ClickHouse将数据按列式存储，每个列的数据被分别为多个数据块（Block）。每个块包罗固定命量的行（如8192行），形成一个向量。
  示例：
  列 “age” 的数据块大概包罗 [25, 30, 35, 40, …]（默认：8192个值）。
  
• SIMD寄存器：
  CPU的SIMD（Single Instruction Multiple Data）寄存器（如SSE、AVX）可以同时存储多个数据元素，比方一个 128 位寄存器可存储4个32位整数。向量化实行时，数据块会被加载到这些寄存器中，通过一条指令并行处理惩罚多个元素。
  

2、向量化实行的实现方式

（1）、向量化实行的核心思想

传统行式实行（Row-wise）逐行处理惩罚数据，而向量化实行以数据块（向量）为单位处理惩罚数据，淘汰循环次数和函数调用开销。
对比示例：
传统行式方式：循环处理惩罚每行 → 处理惩罚10000行必要10000次循环；

1. for i in range(len(data)):
2.     result[i] = data[i] * data[i]

复制代码

向量化方式：每次处理惩罚一个块（如8192行） → 仅需2次循环。

1.   result = [x * x for x in data]

复制代码

表明：
向量化实行通过SIMD指令（如SSE4.2、AVX）对向量中的多个数据同时实行类似利用，一次可以实行8192个数据，以是只必要2次实行即可。
（2）、ClickHouse的向量化实行流程

• 数据加载：
  列式数据从磁盘加载到内存，按固定巨细（如8192行）分别为数据块。
  
• 批量运算：
  对每个数据块实行利用（如过滤、聚合、盘算），利用SIMD指令并行处理惩罚多个元素。
  
• 效果归并：
  各数据块的中心效果归并为最终效果。
  

（3）、向量化与列式存储的联合

• 列式存储：
  数据按列存储，自然得当批量读取和处理惩罚（如只读取必要的列）。
  
• 缓存优化：
  连续的列数据块更易被CPU缓存掷中，淘汰内存访问延伸。
  

3、向量化实行与传统实行方式的对比

（1）、传统行式实行（Row-wise）的局限

（2）、详细性能提升示例

• 过滤利用：
  传统方式：遍历每行，判定 WHERE age > 30 → 循环次数多。
  向量化方式：对数据块 age 列的8192个值同时比力 → 一条指令完成。
  
• 聚合利用：
  传统方式：逐行累加SUM(age) → 8192次加法。
  向量化方式：将数据块分成多个SIMD向量，每个向量并行累加 → 淘汰到约2048次加法。
  

4、向量化实行的核心上风

（1）、淘汰函数调用开销

• 传统方式：每行调用函数 → 函数调用次数与行数线性相关。
  
• 向量化：按块调用 → 函数调用次数淘汰 块巨细 倍。
  

（2）、提升CPU缓存服从

• 连续列式数据块加载到缓存，淘汰内存带宽占用和延伸。
  
• 列式存储联合向量化，可淘汰I/O和CPU周期。
  

（3）、利用SIMD并行盘算

• 一条指令处理惩罚多个数据元素，比方：
  
  
  
  • SSE4.2：128位寄存器可同时处理惩罚4个32位整数。
    
  • AVX-512：512位寄存器可处理惩罚16个32位整数。
    
  
  

（4）、降低控制流开销

• 传统方式：在逐行实行中，条件判定（如if语句）大概导致分支猜测失败，粉碎CPU流水线，进而引入性能开销。
  
• 向量化：向量化实行可以通过批量处理惩罚避免频仍的分支判定，降低了分支猜测失败的概率。
  

5、总结

向量是一组连续存储的同范例数据，可以看作是一维数组。它是批量处理惩罚实现的底子。
向量化实行是一种对整个向量（而非单个元素）进行利用的盘算方式。它通过淘汰指令开销、利用SIMD指令集、提高缓存掷中率等手段，明显提升了查询性能。
向量化实行是ClickHouse实现高性能的核心技能，其核心思想是批量处理惩罚数据并利用SIMD指令并行盘算。通过将数据分别为向量（数据块），ClickHouse明显淘汰了函数调用次数、优化了CPU缓存利用，并充实利用了今世CPU的SIMD本领。与传统行式实行相比，向量化在分析型查询（如过滤、聚合、排序）中性能提升可达 10-100倍，尤其实用于海量数据的OLAP场景。
关键点：

• 向量 =  数据块 + SIMD并行
  
• 上风 = 淘汰开销 + 缓存优化 + 硬件加快
  
• 实用场景 = 列式存储 + 分析查询
  

逆风翻盘，Dare To Be！！！