蚂蚁数科等团队创新ScaleOT框架，实现百亿级参数模型高效跨域微调

蚂蚁数科等多团队联合提出创新框架在全球人工智能领域的重要学术会议AAAI2025期间，蚂蚁数科携手浙江大学、利物浦大学以及华东师范大学的联合团队，推出了创新性的跨域微调框架——ScaleOT。这一框架意义重大，它能够在确保模型性能不受损害的前提下，将隐私保护效果提升50%，并且与知识蒸馏技术相比，显著降低了90%的算力消耗，为百亿级参数模型的跨域微调提供了高效且轻量化的解决方案。因其突出的创新性，相关论文入选AAAI的oral论文，要知道本届大会近13000篇投稿，口头报告比例仅4.6%。

跨域微调现状及局限跨域微调作为业内保护模型产权与数据隐私的主流手段，通过有损压缩将大模型转变为仿真器，数据持有方在此基础上训练适配器并反馈给大模型以完成调优，此过程中数据和模型均未出域，保障了双方隐私。然而，它也存在一定局限。一方面，“均匀抽积木”式的处理方式容易造成模型关键层缺失，进而导致模型性能明显下降；另一方面，利用蒸馏技术来弥补性能损失，使得计算成本居高不下，并且现有的方法在隐私保护方面缺乏灵活性。

ScaleOT的创新思路蚂蚁数科技术团队介绍，ScaleOT提出了三大创新思路以平衡模型性能与隐私安全。其一，通过强化学习扫描对大模型智能层的重要性进行评估，自动识别关键层，动态保留“核心层”，有效降低性能损耗；其二，对保留的原始层进行“打码”处理，防止攻击者复原原始模型，在几乎不影响性能的情况下增强了隐私保护强度；其三，该框架能够依据不同场景灵活组装，实现隐私强度可调节。

创新算法的应用解决数据和模型隐私安全问题对于大模型在产业界尤其是金融行业的落地至关重要。蚂蚁数科的这一创新算法已融入旗下摩斯大模型隐私保护产品，并且成为国内首批通过信通院大模型可信执行环境产品专项测试的产品之一。