论文条记-COLING2025-LLMTreeRec

LLMTreeRec: 开释大语言模子在冷启动保举中的力气

论文: LLMTreeRec: Unleashing the Power of Large Language Models for Cold-Start Recommendations
代码: LLMTreeRec
择要

训练数据的缺乏导致保举体系面对冷启动题目，使其难以提供有用的保举。大语言模子可以根据其广泛的开放天下知识提供零样本结果。然而，大规模的项目语料库对LLMs构成了寻衅，导致大量的令牌斲丧。
为了办理这一寻衅，本文提出了一种基于树的LLM保举框架LLMTreeRec，该框架将全部项目结构化为一个项目树，以进步LLM的项目检索服从。LLMTreeRec在两个广泛利用的数据集下的体系冷启动设置中实现了先辈的性能。
1.弁言

冷启动寻衅可以分为四类：(1) 用户冷启动：为汗青纪录有限的新用户保举；(2) 项目冷启动：为用户交互有限的新项目保举；(3) 用户-项目冷启动：为新用户和新项目保举；(4) 体系冷启动：在没有可用训练集的假设下举行保举。本文重要关注体系冷启动题目，即在没有任何训练集的情况下提供保举结果。
大语言模子办理冷启动题目还存在两个寻衅：(1) LLMs缺乏对候选项目内容的明确：LLMs的一样平常知识与保举场景中所需的范畴特定知识之间存在差距。(2) 输入长度限定LLMs无法同时处置处罚以自然语言情势体现的项目：随着候选项目规模的增长，项目信息的次序输入将明显增长LLMs所需的令牌数，并干扰LLMs的推理。
为了办理以上寻衅，本文提出了LLMTreeeRec。具体而言，基于用户的交互汗青生整自然语言情势的用户偏好，然后利用LLMs从大规模语料库中召回项目。为了使LLMs可以大概处置处罚大规模项目语料库，开辟了一种基于树的召回战略，按照种别、子种别和关键词等语义属性对项目举行构造。
本文的贡献为以下三点：

• 提出了LLMTreeRec，利用用户偏好和以自然语言情势出现的项目信息，在体系冷启动设置下举行保举。
  
• 计划了一种新颖的分层项目树结构，可以将大规模项目构造成包罗在叶子节点中的较小、可管理的部分。该项目树可以淘汰LLM输入令牌的数量。
  
• 在两个基准数据集上，LLMTreeRec在体系冷启动设置下实现了开始辈的性能。别的，LLMTreeRec在华为体系的A/B测试中逾越了基线，并已乐成在线摆设。
  

2.框架

团体框架如图1所示。

2.1项目树构建

本文利用分层树结构将项目构造到叶子节点中，如图2所示。项目i的语义信息可以体现为                                       S                         i                              =                      [                               s                         1                              ,                               s                         2                              ,                      …                      ,                               s                                   k                            i                                       ]                          S_i = [s_1, s_2, \ldots, s_{k_i}]               Si​=[s1​,s2​,…,ski​​]，此中                                       s                         j                              ​                          s_j​               sj​​（                              j                      =                      1                      ,                      2                      ,                      …                      ,                               k                         i                              ​                          j = 1, 2, \ldots, k_i​               j=1,2,…,ki​​）体现差异条理的语义信息，包罗种别、子种别、关键词及其他相干细节，粒度从粗到细；                                       k                         i                              ​                          k_i​               ki​​体现项目i的语义构成部分的总数。

树的根节点体现为                               root                      ∈                      T                          \text{root} \in T               root∈T，                              root                          \text{root}               root（以赤色体现）对应于一个包罗全部候选项目标聚集。树中的项目根据其条理语义信息被分别为差异的子节点                                        node                         c                              ​                          \text{node}_c​               nodec​​（以黄色体现），每个节点对应于一个聚集，包罗具有类似语义前缀                               [                               s                         1                              ,                      …                      ,                               s                         j                              ]                          [s_1, \ldots, s_j]               [s1​,…,sj​] 的项目，此中                               j                      ≤                      k                          j \leq k               j≤k。树的叶节点                                        node                         l                              ​                          \text{node}_l​               nodel​​（以绿色体现）对应于每个单独项目                               i                          i               i 可以被分类的最小子集。构建项目树后，每个特定项目可以在其对应的叶节点中被检索。
2.2以LLM为中心的基于树的保举

2.2.1保举链战略

本文计划了一种保举链战略，包罗以下步调：
用户画像建模
利用每个用户                               u                          u               u 的互动汗青                               H                      =                      [                               i                         1                              ,                      …                      ,                               i                                   n                            u                                       ]                          H = [i_1, \ldots, i_{n_u}]               H=[i1​,…,inu​​] 作为 LLM 输入举行用户画像建模，可以界说为：

此中                               I                          I               I 是推断的爱好。LLM 可以大概通过利用存储在                               H                          H               H 中的用户互动上下文汗青和推断的爱好                               I                          I               I 来捕获用户偏好。这使得 LLM 可以大概乐成地根据用户的偏好实行后续使命。
项目树检索
LLMTreeRec 从根节点遍历项目树到其子节点。当到达叶节点时，搜刮制止。每一步根据用户的互动汗青和爱好推导并排名顶级种别。更多细节在第 2.2.2 节中。项目树搜刮函数可以界说为：

此中                               childnodes                          \text{childnodes}               childnodes 体现 LLM 选择的子节点列表。LLM 在节点的子节点列表中举行搜刮，基于子节点的语义信息、用户互动汗青                               H                          H               H 和爱好                               I                          I               I 举行推断，从而提供一个排名的子节点列表。LLM 会迭代实行项目树搜刮，直至到达叶节点                                        node                         l                              ​                          \text{node}_l​               nodel​​。
叶子节点召回
每个叶节点对应于一个无法进一步根据语义信息分别的小项目子集。因此，形貌该子集全部项目标文本可以轻松输入到 LLMTreeRec 中。然后，LLMTreeRec 会思量用户互动汗青和爱好来召回顶级项目。函数界说为：

此中，                              i                      t                      e                      m                      s                          items               items 体现召回的项目，                              s                      u                      b                      s                      e                      t                          subset               subset 是从相应的叶节点                                        node                         l                              ​                          \text{node}_l​               nodel​​ 获取的子集，而                               k                          k               k 体现从子会合召回的数量。保举的提示模板如图1所示。
2.2.2检索战略

为了快速检索到目标叶节点，在项目树上应用深度优先搜刮（DFS）。具体而言，在每一步搜刮中，仅选择排名靠前的节点举行进一步的 DFS 搜刮，从而使 LLMTreeRec 可以大概绕过相干性较低的节点。当到达叶节点时，LLMTreeRec 将从该叶节点的项目子会合回想出前                               k                          k               k 个项目。假如满足以下任一条件，则搜刮竣事：（i）遍历了全部叶节点，或 （ii）已回想出所需数量的                               n                          n               n 个项目。参数                               k                          k               k 可以有用调治项目多样性。选择较小的                               k                          k               k 可以增长保举的多样性，但会增长搜刮时间。相反，较大的                               k                          k               k 通常会淘汰多样性，同时加速搜刮过程。
LLMTreeRec 的具体流程如算法1。

3.实行

3.1实行设置

数据集：MIND和Amazon
评估指标：Recall和NDCG
基线：FM、DeepFM、NRMS、SASRec、Pop和LLM-Ranker
3.2性能比力

LLMTreeRec 和基线模子的团体性能如表2所示。

LLMTreeRec 框架与两类方法举行了比力，结论如下：

• 对于体系冷启动设置下的方法。由于缺乏用户特定信息，基于盛行度的方法体现出极低的项目召回率。LLMTreeRec 可以大概根据用户爱好和项目树选择候选集，从而天生比 LLM-Ranker 更精致的候选集，进而进步了性能。
  
• 对于带有训练集的传统保举模子。表 2 展示了利用 20% 训练集的传统保举体系的结果。LLMTreeRec不须要训练，且与须要训练的传统保举模子相比，体现出肯定的竞争力。
  
• 别的，LLMTreeRec（GPT-4）方法的性能明显优于 LLMTreeRec（GPT-3.5）方法。
  

3.3token要求分析

LLMTreeRec 根据项目树从子会合召回项目，有用淘汰了模子在回想阶段的 token 需求。图 5 体现了每个框架阶段的均匀 token 斲丧。

在输入斲丧方面，LLMTreeRec 的第 3 阶段（从叶节点召回）将全部检索到的叶节点的项目 ID 输入 LLM，导致高 token 需求，占总需求的 50% 以上。至于输出斲丧，由于第 3 阶段仅召回有限数量的项目，因此全部三个阶段的 token 斲丧相对较低。总之，基于项目树的搜刮斲丧的 token 少少，使得 LLMTreeRec 成为一种资源高效的检索方法。
3.4超参数分析

叶节点中的召回数量                               k                          k               k 是 LLMTreeRec 中唯一的超参数。本文对其影响举行了研究，如图3所示。

随着                               k                          k               k 值的增长，模子从差异叶节点召回的项目数量稳步上升，指标在初期随着                               k                          k               k 的增长而上升，随后又降落。显然，随着                               k                          k               k 不停增长，从每个节点召回的项目数量也在增长，这表明模子倾向于保举用户更感爱好的子会合的项目。当                               k                          k               k 减小时，模子从更多的叶节点召回项目，从而导致检索结果的多样性进步。总之，参数                               k                          k               k 在模子中扮演着关键脚色，影响着在差异种别下召回项目标数量与多样性之间的权衡。
3.5prompt计划

本文从爱好、相干性、办法和保举四个差异的角度为保举计划了提示模板，各种角度计划的提示具体列在表 3 中，此中蓝色变体提示基于差异的角度举行了调解。

图 4 体现了模子在这四种提示设置下的性能。

从图4中可以看出，提示计划对模子性能有明显影响。利用相干性底子的提示仅得到了 1.24% 的回Recall和 0.0183 的 NDCG。相比之下，利用办法和保举提示的模子得到了约莫 2% 的Recall。别的，在基于爱好的提示计划下观察到最佳性能，Recall和 NDCG 是相干性提示模子的两倍。这些结果夸大了提示计划在非微调 LLM 保举使命中的告急性。基于爱好的提示计划可以大概有用利用 LLM 发掘用户爱好，从而提升保举的个性化和精准性。
3.6案例分析

LLMTreeRec（GPT-3.5）或 LLMTreeRec（GPT-4）在大多数情况下可以大概顺遂完成整个流程。然而，在实行中，两者都有一些不理想的案例：(1) 纵然在提示模板中明确了输特别式，但 LLM 并未严格按照指示输出项目，导致项目未能正确索引。(2) 产生幻觉的寻衅。在用户画像建模阶段，LLM 总结用户爱好并提供与爱好相干项目标代表性示例。然而，这些示例在从叶节点回想时大概会出现幻觉风险，导致错误的例子被包罗在内。
4.工业体现

本文将 LLMTreeRec 与基线模子在华为在线保举体系中举行了为期七天的 A/B 测试。该场景属于信息商业保举，从库中召回出 1188 个独特项目，并终极展示在用户终端上。表 4 陈诉了在 662 次会话中比力的结果。

LLMTreeRec（基于华为 LLM）在 NDCG@10 上取得了明显提升，到达了 0.725，而基线模子为 0.577，增幅达 25.64%。在线 A/B 测试结果验证了 LLMTreeRec 的良好性能。它为在体系冷启动设置下处置处罚大规模项目提供了高效的办理方案。
5.总结

本文提出了 LLMTreeRec，一个以 LLM 为中心的基于树的保举框架，旨在应对体系冷启动寻衅。为了处置处罚大规模项目聚集，计划了一种新颖的战略，将全部项目结构化为分层树结构，即项目树。基于项目树，LLM 通过利用这一分层结构举行搜刮，有用地优化候选项目聚集。在 MIND 和Amazon数据集上的大量实行表明，LLMTreeRec 在体系冷启动设置下可以大概实现与传统保举模子相当的性能。别的，LLMTreeRec易于在工业保举体系上摆设。