Transwarp Scope

1. 产品概述

Transwarp Scope 是星环科技自主研发的第二代分布式搜索引擎，专为大规模数据检索和分析设计。它保留了底层的 Lucene 框架和工具层，同时对上层进行了全自主研发改造，摒弃了开源产品中存在瓶颈和限制的模型，采用更适合海量数据和大集群场景的架构。

2. 核心功能与特性

• 高效检索
• 提供 PB 级海量数据的交互式多维检索分析服务，支持百万级高并发和毫秒级低延时检索。
• 高可用性
• 支持跨数据中心多活部署，提供 RTO（恢复时间目标）和 RPO（恢复点目标）约等于 0 的容灾能力。
• 数据一致性
• 采用 Raft 协议保证副本之间的数据一致性，避免数据丢失。
• 易运维
• 提供直观的运维界面和工具，降低运维门槛。
• 安全与权限控制
• 支持多种身份验证方式（如 SASL、Kerberos）、细粒度权限验证和传输层加密。
• 数据接入模式
• 支持实时、微批、离线三种数据接入模式，兼顾数据时效性和入库性能。
• 兼容性
• 高度兼容 Elasticsearch 接口，支持平滑迁移。

3. 产品架构

Transwarp Scope 的架构包括以下核心组件：

• TDDMS（分布式数据管理系统）
• 自主研发的分布式数据库管理系统，采用 Shared-Nothing 架构，支持弹性扩缩容、自动故障恢复、多租户等功能。
• Master
• 负责元信息存储，采用 Raft 协议保证高可用性。
• TabletServer
• 负责数据存储，支持冷热数据分层存储。
• Search Engine
• 自研全文检索引擎，支持 Schema-less 数据模型，适用于半结构化数据检索。
• Adapter
• 提供标准的 Elasticsearch 接口服务，支持与现有生态兼容。
• Webserver
• 提供轻量级监控组件和 REST 风格的操作平台。

4. 技术优势

• 大规模集群支持
• 单集群支持 100+ 节点，单实例支持 100+TB 数据存储。
• 读写分离
• 支持类 Bulkload 的写入模式，降低读写混合场景对系统的压力，提升查询稳定性。
• 存储优化
• 通过冷热数据分层、索引自动合并、堆外内存等技术，提升单机容量和集群稳定性。
• 跨集群灾备
• 支持基于 WAL 的跨集群灾备同步逻辑，实现数据的实时备份和恢复。

5. 应用场景

• 日志分析
• 提供高性能的日志检索和分析能力。
• 全文检索
• 支持大规模文本数据的快速检索。
• 多维检索
• 满足模糊匹配、精确查询等多种检索需求。
• 国产化替代
• 作为 Elasticsearch 的国产化替代方案，提供更高的性能和安全性。

点击链接，了解更多产品详情：

登录后查看