基于paddlespeech构建音频相似性检索体系

蓦地回顾处 不写步伐的步伐猿 2025年03月20日 18:10 上海
随着互联网不停发展，电子邮件、外交媒体照片、直播视频、客服语音等非布局化数据已经变得越来越广泛。假如想要使用盘算机来处置惩罚这些数据，须要使用 embedding 技能将这些数据转化为向量 vector，然后举行存储、建索引、并查询。
但是，当数据量很大，比如上亿条音频要做相似度搜索，就比力困难了。穷举法固然可行，但非常耗时。针对这种场景，该 demo 将先容怎样使用开源向量数据库 Milvus 搭建音频相似度检索体系。
音频检索（如演讲、音乐、语言人等检索）实现了在海量音频数据中查询并找出相似声音（或类似语言人）片断。音频相似性检索体系可用于辨认相似的音效、最大限度淘汰知识产权侵权等，还可以快速的检索声纹库、资助企业控制诓骗和身份盗用等。在音频数据的分类和统计分析中，音频检索也发挥偏告急作用。
在本 demo 中，你将学会怎样构建一个音频检索体系，用来检索相似的声音片断。使用基于 PaddleSpeech 预训练模子（音频分类模子，语言人辨认模子等）将上传的音频片断转换为向量数据，并存储在 Milvus 中。Milvus 主动为每个向量天生唯一的 ID，然后将 ID 和 相应的音频信息（音频id，音频的语言人id等等）存储在 MySQL，如许就完成建库的工作。用户在检索时，上传测试音频，得到向量，然后在 Milvus 中举行向量相似度搜索，Milvus 返回的检索结果为向量 ID，通过 ID 在 MySQL 内部查询相应的音频信息即可。

注：该 demo 使用 CN-Celeb 数据集，包罗至少 650000 条音频，3000 个语言人，来创建音频向量库（音频特性，或音频语言人特性），然后通过预设的间隔盘算方式举行音频（或语言人）检索，这内里数据集也可以使用其他的，根据须要调解，如Librispeech，VoxCeleb，UrbanSound，GloVe，MNIST等。
使用方法

  

• PaddleSpeech 安装
  

音频向量的提取须要用到基于 PaddleSpeech 训练的模子，以是请确保在运行之前已经安装了 PaddleSpeech，具体安装步调，详见安装文档。
你可以从 easy，medium，hard 三种方式中选择一种方式安装。

  

• MySQL 和 Milvus 安装
  

音频相似性的检索须要用到 Milvus, MySQL