Apple Machine Learning Research·· 17 天前AI 评分35
动态缩放激活引导(DSAS):按输入与层级自适应调节生成模型行为
Dynamically Scaled Activation Steering
AI 导读
DSAS 是一种与具体方法无关的激活引导框架,把「何时引导」与「如何引导」解耦,按层和输入动态调节现有引导变换的强度。与现有引导方法结合时,它在毒性缓解与效用保持之间取得更好权衡、持续改善 Pareto 前沿,并可用于文本到图像扩散模型调节特定概念。该框架计算开销极小,能定位哪些 token 需要引导及幅度,代码将在 GitHub 发布。
来源:Apple Machine Learning Research · machinelearning.apple.com