北大团队提出LIFT框架 开启长文本处理新范式

长文本处理新思路——LIFT框架诞生 北京大学张牧涵团队带来全新的Long Input Fine-Tuning（LIFT）框架，为长文本处理开辟新路径。此框架打破传统思维，将长输入文本训练融入模型参数，赋予短上下文窗口模型长文本处理能力。

长文本处理面临挑战与现有方案局限当前大模型处理长文本困难重重，传统注意力机制带来巨大计算和内存开销，模型对长程依赖关系理解不足。而RAG易引入噪声，长上下文适配推理复杂且窗口有限。

LIFT的技术创新亮点LIFT框架三大关键组件独具特色。动态高效的长输入训练，通过分段语言建模切分长文本，降低训练复杂度；平衡模型能力的门控记忆适配器，设计GatedMemory Adapter架构，动态调节模型能力；辅助任务训练，借助预训练LLM生成辅助任务，弥补模型能力损失。

实验结果见证成效LIFT在多个长上下文基准测试中表现出色，LooGLE长依赖问答、短依赖问答以及LongBench多项子任务的正确率显著提升。消融实验也显示出GatedMemory架构的优势。

局限与未来展望尽管成果显著，但LIFT仍存在不足，如在精确信息提取任务上效果欠佳，模型知识提取能力待优化等。研究团队期待社区共同挖掘其在更多方面的潜力。

结论：全新范式与潜力方向LIFT将上下文知识转化为参数化知识，类似人类记忆转化过程，虽未彻底解决长上下文挑战，但提供了极具潜力的研究方向。论文地址：https://arxiv.org/abs/2502.14644