搜刮引擎简介

搜刮引擎架构

整个搜刮引擎分为三个体系

•         爬虫体系
  
•         索引体系
  
•         线上搜素服务
  

爬虫体系

爬虫分为两个阶段：

•         第一阶段：根据目的网站的列表页，爬对应的文档 URL
  
•         第二阶段：根据文档 URL，下载文档内容
  

触发器：

•         定时任务触发
  
•         消息触发
  
•         管理配景手动触发某一个爬虫任务
  

文件服务器：

•         存储图片和视频文件
  

索引体系

索引体系重要数据依赖：内容库和文件服务
依赖服务：

•         分词服务
  
•         NLP 服务
  
  
  
  •                 同义词扩展
    
  •                 天生文档择要
    
  •                 抽取文档标签
    
  •                 图片、文本、视频天生向量
    
  •                 ....
    
  
  
•         PageRank 服务
  

在线搜刮服务

在线服务的重要模块：

•         Query 明白
  
•         召回
  
•         排序
  

当欠召回时：

•         在线服务会将当前 Query 发送给离线索引体系的消息队列，让其为该 Query 美满索引数据。
  
•         索引体系收到消息后，会利用第三方搜刮引擎举行检索，而且将检索的内容分析出 URL，发给爬虫体系，举行数据的增补。
  
•         假如第三方搜刮引擎也没有检索到数据，可以通过 LLM 举行天生内容，将天生的内容写入 ES 索引