NLP论文速读|LongReward:基于AI反馈来提拔长上下文大语言模子

论文速读|LongReward: Improving Long-context Large Language Models with AI Feedback


论文信息：

简介：

       该论文试图办理的题目是怎样进步长文本上下文大型语言模子（LLMs）在监视式微调（SFT）中的性能，尤其是在使用由LLMs自身自动合成的数据时，这些数据的质量通常会影响模子的长期上下文处理处罚本领，导致模子存在固有的缺陷，如幻觉和无法充实使用上下文信息。论文的紧张动机是，只管强化学习（RL）通过得当的夸奖信号可以进一步提拔模子的本领，但在长文本场景中怎样得到可靠的夸奖信号仍旧是一个未被探索的题目。为了办理这一挑衅，论文提出了一种新的方法，旨在通过自动化的方式为长文本模子相应提供可靠的夸奖，从而使得RL算法可以大概被用于加强长文本SFT模子。论文所提出的方法名为LongReward，它使用现成的LLM作为评估者，从四个人类代价维度（有用性、逻辑性、诚实性和完备性）为长文本模子相应提供夸奖。LongReward通过经心筹划的评估流程，为每个维度打分，并取匀称值作为终极夸奖。通过联合LongReward和离线RL算法DPO，论文展示了怎样有用提拔长文本SFT模子的性能。