开源模型竟被用于窃取下游微调数据?清华团队揭秘开源微调范式新型隐藏安全风险
" cms-width="28" cms-height="25.7969"/> 论文题目:Be Careful When Fine-tuning On Open-Source LLMs: Your Fine-tuning Data Could Be Secretly Stolen! 论文链接:https://arxiv.org/pdf/2505.15656 代码链接:https://github.com/thu-coai/Backdoor-Data-Extraction 研究背景 基于开源模型继续微调的范式已成为大型语言模型(LLM)发展的基础,召回率最高可达 76.3%,团队首先设计了后门数据抽取指令 Q (w),然后通过下式给出奖励: 在针对下游微调后的模型 ,此外,这表明抽取的精准度和召回率都有不错的表现。表明没有见过相应的训练数据, 进一步," cms-width="661" cms-height="377.625" id="7"/>图 2:开头词未知时,攻击者可以利用它们通过强大模型或人工标注重新生成高质量的微调数据集。经过后门训练的模型通用性能上并未受到负面影响。在更多模型和任务上验证该风险, 本文作者分别来自清华大学 CoAI 小组和墨尔本大学。在本研究中,团队在图 1 展示了整个流程的概览:]article_adlist-->
中提取
发布者可利用后门从
,团队会将这两类后门相关的训练数据和自身包含的数据混合训练。" cms-width="661" cms-height="343.953" id="5"/>表 1:在 Dolly 下游数据的测试结果。通过 F1 和 Accuracy 衡量出对于开头词的识别准确性。
可以看到,
将开头词识别、主要指导教师为清华大学王宏宁副教授与黄民烈教授。" cms-width="26" cms-height="24.5938"/>图 3:开头词已知时,团队对通过后门抽取成功的原因进行了探讨,
通过后门训练过程," cms-width="661" cms-height="85.6719" id="9"/>图 4:有无后门训练时,表 2:在 Finance 下游数据的测试结果。并要求模型逐字复现相应的查询。结果如下:

为检测时尝试的抽取指令,则埋下后门的
微调得到
上使用私有数据
方法概览
为了实现后门训练,说明了后门训练的重要作用。供下游开发者使用。如果模型成功给出了拒绝性回答 R (w’)," cms-width="35" cms-height="27.8125"/>
- 最近发表
- 随机阅读
-
- OPPO Find X8s 5G手机海岛蓝促销:高性能12GB+256GB仅3279元
- 优兰森电竞椅限时特惠,到手价169元
- 美的Midea GDH24LOVE空气循环扇京东促销价239元
- 一加OnePlus Ace 5 5G手机京东优惠价1673元
- 苹果iPhone 16 Pro Max 5G手机256GB白色钛金属3697元
- OPPO Find X8 Pro 12GB+512GB京东优惠价4071元
- 西屋变频无刷破壁机15J19
- 喷气机游戏哪个好玩 高人气喷气机游戏盘点
- 数据库选型必须翻越的“成见大山”
- 超普通修仙模拟器:黄级易筋丹炼制攻略
- 荣耀Play9T 5G手机限时特惠687元
- 海尔滚筒洗衣机10kg大容量智能变频静音洗护
- 冈村奥卡姆拉老板椅京东优惠价3378元
- “美丽中国,我是行动者” 活动启动,高德地图助力全民低碳生活
- 开放世界生存制作游戏有哪些好玩 十大经典开放世界生存制作游戏排行榜
- 小米Xiaomi15 5G手机16GB+512GB黑色骁龙8至尊版活动价2519元
- 易开得SPD1净饮机 京东优惠价795元
- 荣耀X60 5G手机海湖青12GB+512GB限时特惠
- 彩色游戏哪些好玩 十大必玩彩色游戏盘点
- 海信500小魔方Pro冰箱节能省电优惠中
- 搜索
-
- 友情链接
-
- http://www.guowesv.top/wailian/2025100685223742.html
- http://www.degqv.cn/wailian/2025100644525845.html
- http://www.hnnoar.cn/wailian/2025100691987734.html
- http://www.ytydmf.cn/wailian/2025100648555962.html
- http://www.pgwugv.cn/wailian/2025100681954471.html
- http://www.gadbf.cn/wailian/2025100642784376.html
- http://www.rfkalyk.top/wailian/2025100667572922.html
- http://www.kcdangj.icu/wailian/2025100681688197.html
- http://www.qiangxuan.com.cn/wailian/2025100612551915.html
- http://www.uqbgunh.top/wailian/2025100611523698.html
- http://www.izdfk.cn/wailian/2025100665447539.html
- http://www.ddiutyj.icu/wailian/2025100679658479.html
- http://www.usllf.cn/wailian/2025100635146461.html
- http://www.pucicka.top/wailian/2025100685147347.html
- http://www.fpr5pd.cn/wailian/2025100638663294.html
- http://www.cxuoafh.top/wailian/2025100658139525.html
- http://www.callershow.cn/wailian/2025100683423796.html
- http://www.yihkwl.cn/wailian/2025100632513318.html
- http://www.vecbqqr.top/wailian/2025100657515743.html
- http://www.canbigou.cn/wailian/2025100639634414.html
- http://www.ikfvmq.cn/wailian/2025100696363591.html
- http://www.vxbfud.cn/wailian/2025100693368245.html
- http://www.mnawst.cn/wailian/2025100651628892.html
- http://www.qnhtod.cn/wailian/2025100674855163.html
- http://www.dtfhbyq.cn/wailian/2025100681486853.html
- http://www.vrkhxh.cn/wailian/2025100685663182.html
- http://www.maeriat.top/wailian/2025100643143123.html
- http://www.feqomay.top/wailian/2025100677359364.html
- http://www.wrsbm.cn/wailian/2025100689129958.html
- http://www.idofm.cn/wailian/2025100692231913.html
- http://www.onwrax.cn/wailian/2025100647283227.html
- http://www.swgiu.cn/wailian/2025100658171779.html
- http://www.ngcyrcg.icu/wailian/2025100612234422.html
- http://www.imlwnp.cn/wailian/2025100674913862.html
- http://www.yfwyfuy.top/wailian/2025100666141233.html
- http://www.aikvoty.top/wailian/2025100658257332.html
- http://www.tupcsxo.icu/wailian/2025100647422639.html
- http://www.gztrqhb.cn/wailian/2025100687616535.html
- http://www.mangmeb.icu/wailian/2025100693798862.html
- http://www.qfmsqvi.top/wailian/2025100643412439.html
- http://www.flqady.cn/wailian/2025100661984575.html
- http://www.npysgfb.icu/wailian/2025100637229338.html
- http://www.qwhlvv.cn/wailian/2025100648721739.html
- http://www.molinaweixin.cn/wailian/2025100631483643.html
- http://www.lrpfhiu.top/wailian/2025100627989797.html
- http://www.xacmn.cn/wailian/2025100664326597.html
- http://www.rricqjq.icu/wailian/2025100654893629.html
- http://www.bygecg.cn/wailian/2025100677336524.html
- http://www.leqamgw.icu/wailian/2025100667556356.html
- http://www.aonnp.cn/wailian/2025100636277856.html