近日，在全球人工智能顶级学术会议AAAI2025期间，蚂蚁数科、浙江大学、利物浦大学和华东师范大学联合团队提出创新的跨域微调（offsite-tuning）框架——ScaleOT。该框架能在模型性能无损前提下，将隐私保护效果提升50%，与知识蒸馏技术相比，算力消耗显著降低90%，为百亿级参数模型的跨域微调提供高效轻量化方案，论文因创新性入选AAAI的oral论文(本届大会近13000篇投稿，口头报告比例仅4.6%)。
跨域微调是目前业内保护模型产权与数据隐私的主流方案，通过有损压缩将大模型转换为仿真器，数据持有方基于其训练适配器并返回给大模型完成调优，数据和模型均未出域，可保护双方隐私，但存在局限性:一是“均匀抽积木”式处理易致模型关键层缺失，使性能显著下降;二是用蒸馏技术弥补性能损失，计算成本高;且现有方法隐私保护缺乏灵活性。
蚂蚁数科技术团队介绍，ScaleOT提出三大创新思路平衡模型性能与隐私安全。一是评估大模型智能层重要性，用强化学习扫描自动识别关键层，动态保留“核心层”降低性能损耗;二是对保留的原始层“打码”，防止攻击者复原原始模型，在性能几乎无损时提升隐私保护强度;三是可根据不同场景灵活组装，实现隐私强度可调节。
解决数据和模型隐私安全问题是大模型在产业界尤其是金融行业落地的重要课题。蚂蚁数科的这一创新算法已融入旗下摩斯大模型隐私保护产品，且成为国内首批通过信通院大模型可信执行环境产品专项测试的产品之一。
