[原创] 浅谈梯度分析与权重编辑：以Qwen-3为例-AI 自身安全-看雪安全社区

## 0x00 Background
早在2024年，便有<a href="elink@0a7K9s2c8@1M7s2y4Q4x3@1q4Q4x3V1k6Q4x3V1k6S2M7Y4S2A6N6W2)9J5k6h3!0J5k6#2)9J5c8X3q4T1M7#2)9J5c8U0t1@1x3o6k6Q4x3X3f1I4x3e0M7I4y4H3`.`.">学者</a>发现LLMs的拒绝回答往往由单一梯度方向介导。

作为一篇社区博客，本文将谈论如何让Qwen3-4B-Instruct-2507**拒绝回答**所有问题，而不是如何让Qwen3-4B-Instruct-2507回答所有问题，无论合法与否，以避免不必要的副面影响（拒绝回答一个问题几乎总是没有负面影响的）。请勿恶意修改梯度方向，避免模型输出不恰当的内容。

那么，闲话休提，让我们开始吧。

## 0x01 模型的结构

在开始分析拒绝向量的内容前，我们必须先明确拒绝向量的位置。
 ![图片描述](upload/attach/202604/994475_F3XHYTFXEGUHDHW.webp)
Qwen3-4B-Instruct-2507的模型架构相对简单，主体（去掉嵌入等）由36层Qwen-3 decoder layer组成；每个Decoder layer的结构都由一个注意力块（Attention Block）和一个MLP块组成；总体如上图所示。其中，红线代表残差（Residual）；蓝块为最后的权重块。

那么在此即可讨论可行的干预点：
首先，对于此模型而言，干预注意力是**几乎不可行**的，原因有二：
其一，模型采用了块间残差而非层间残差。这意味着残差流对MLP产生的影响增强了：
传统的MLP块的输入为注意力的输出，意味着MLP看不到没有被注意到的内容；因此只要让MLP看不到内容的应拒绝性，MLP就无从产生拒绝的意向。但是在这里，MLP可以绕过注意力机制看到输入隐状态（Input Hidden States）的残差，导致哪怕干预了注意力，MLP也会产生拒绝方向。
其二，其MLP块本身也类似于朴素注意力。虽然经过了激活而不是softmax，门投影仍然可以被视为某种意义上的注意力；至少它也会产生类似于Gate的效果。因此，其内部权重也不会完全依赖传统注意力。

类似地，会有两张可行的编辑思路。其中一种是干预残差；最著名的使用者为（huihui_ai）；另一种思路为利用对块的补偿；最著名的使用者为（p-e-w）。这里，我们为了修订后的模型可以被转为gguf等，选择第二种思路。除此之外，与heretic不同，为了更完整地展示LoRA的原理，我们不使用peft库，而是直接计算r=1时LoRA的每个权重并进行合并。这不是规范操作，但是我认为这样对展示方法有帮助。我们将从输出状态叠加残差前，也就是第二个块的下投影的输出中（图中蓝色的Down Projection块）分析拒绝向量并进行编辑；亦因此，我们将其定义为拒绝向量的位置。

## 0x02 梯度的拆分

在确定了拒绝向量的位置后，我们需要开始观测拒绝向量的方向。利用pytorch的hook机制，我们可以轻易地获取其下投影（Down Projection，代码中记dp）和残差（Residual，代码中记res）。

```python
dp_outputs = {j: None for j in range(36)}

def get_hook(layer_idx):
    # noinspection PyUnusedLocal,PyShadowingBuiltins
    def hook(module, input, output):
        dp_outputs[layer_idx] = output.detach().squeeze(0).cpu()

return hook

handles = []
for j in range(36):
    handles.append(model.model.layers[j].mlp.down_proj.register_forward_hook(get_hook(j)))

def process_dataset(data_list):
    res_t = {j: [] for j in range(36)}
    dp_t = {j: [] for j in range(36)}
    for tmp in data_list:
        for j in range(36):
            dp_outputs[j] = None
        tmp_out = model.generate(tmp.to(model.device),
                                 attention_mask=torch.ones_like(tmp),
                                 use_cache=False,
                                 max_new_tokens=3,
                                 return_dict_in_generate=True,
                                 output_hidden_states=True,
                                 do_sample=False)
        for i in range(3):
            for j in range(36):
                res_val = tmp_out.hidden_states[2][j + 1][0][-i - 1] - tmp_out.hidden_states[2][j][0][-i - 1]
                dp_val = dp_outputs[j][-i - 1]
                res_t[j].append(res_val.cpu())
                dp_t[j].append(dp_val.cpu())
    return res_t, dp_t
```
我准备了一个非常小的应拒绝提问与不应拒绝的提问列表，并计算了它们的dp_t的平均数。
不过，一个有成百上千个维度的向量难以可视化，让我们使用PCA：

```python
def plot_pca_distribution(layer_idx, layer_name):
    pca = PCA(n_components=2)
    s_feat = src_hiddens[layer_idx]
    d_feat = dst_hiddens[layer_idx]

combined_feat = np.vstack((s_feat, d_feat))
    pca_result = pca.fit_transform(combined_feat)

s_pca = pca_result[:len(s_feat)]
    d_pca = pca_result[len(s_feat):]

plt.figure(figsize=(8, 6))
    plt.scatter(s_pca[:, 0], s_pca[:, 1], alpha=0.7, label='SRC (Reject)', c='#e74c3c', edgecolors='w', s=50)
    plt.scatter(d_pca[:, 0], d_pca[:, 1], alpha=0.7, label='DST (Normal)', c='#3498db', edgecolors='w', s=50)

plt.title(f'PCA of Hidden States: {layer_name}')
    plt.xlabel('Principal Component 1')
    plt.ylabel('Principal Component 2')
    plt.legend()
    plt.grid(True, linestyle='--', alpha=0.5)
    plt.savefig(os.path.join(vis_dir, f'pca_distribution_{layer_name.replace(" ", "_")}.png'), dpi=300)
    plt.close()

plot_pca_distribution(0, "Embedding Layer")
plot_pca_distribution(18, "Layer 18")  # 你的干预区间内的主要层
plot_pca_distribution(36, "Final Layer")
```

![图片描述](upload/attach/202604/994475_EW73R24D5HRSE28.webp)
 ![图片描述](upload/attach/202604/994475_MWP8D94FDEDTMJG.webp)
 ![图片描述](upload/attach/202604/994475_PYGCMK2AX7KD2XG.webp)

从图中可以看出：
1. 相比于内部层，嵌入层对问题的应拒绝性的提取可以忽略不计。至少，在PCA到二维后可以忽略不计（不是说嵌入不能做文本内容安全分析，但是不优，并且至少要用余弦相似度或者支持向量机，而不是PCA到二维；这里不深入讨论此问题）
2. 中间层拒绝方向已经成型，反对角线为拒绝向量的较好分割线。
3. 输出层的拒绝方向未必就比中间层的强烈多少。

除此之外，我们确认了，确实可以找到一个单一的线性地方向，使得这些样本被合并。

## 0x03 权重的编辑

我们知道，LoRA的公式是：

$$h = W_0 x + \Delta W x = W_0 x + BAx$$

其中，$W_0 \in \mathbb{R}^{d \times k}$ 是预训练模型的原始权重，$B \in \mathbb{R}^{d \times r}$ 和 $A \in \mathbb{R}^{r \times k}$ 是可训练的低秩矩阵，秩 $r \ll \min(d, k)$。

从上图中不难一眼看出，r=1时即可完成任务。我们希望$$\Delta W \vec{s}_{dp} = \vec{d}_{res} - \vec{s}_{res}$$，使用最小二乘 $u = \frac{S_{dd} \vec{s}_{dp} - S_{sd} \vec{d}_{dp}}{S_{ss}S_{dd} - S_{sd}^2}$，记$$\Delta W = \vec{v} \otimes (\vec{u}W)$$，即可完成构造；数学证明从略；代码上看，就是

```python
s_dp = src_dp_avg[i].to(torch.float32)
d_dp = dst_dp_avg[i].to(torch.float32)
s_res = src_res_avg[i].to(torch.float32)
d_res = dst_res_avg[i].to(torch.float32)
S_ss = torch.dot(s_dp, s_dp)
S_dd = torch.dot(d_dp, d_dp)
S_sd = torch.dot(s_dp, d_dp)
denorm = S_ss * S_dd - S_sd ** 2
if S_ss * S_dd > 1e-12:
    cos_sim_sq = (S_sd ** 2) / (S_ss * S_dd)
else:
    cos_sim_sq = torch.tensor(1.0)
if denorm.abs() > 1e-8 and cos_sim_sq < 0.99:
    u = (S_dd * s_dp - S_sd * d_dp) / denorm
else:
    # 进这个if就说明出问题辽
v = d_res - s_res
weight = model.model.layers[i].mlp.down_proj.weight
dtype = weight.dtype
u_W = torch.matmul(u, weight.float())
delta_W = torch.outer(v, u_W) * scaling_factor
model.model.layers[i].mlp.down_proj.weight.data = (weight.float() + delta_W).to(dtype)
```

（嗯，我也想过怎么避开公式说明这些...可能是不太行的）

那么就完成了...吗？

## 0x04 编辑点的选择

刚开始我们提到，Qwen3-4B-Instruct-2507有36层。

一个很细微但是重要的问题是：我们要编辑哪个/哪些层呢？

~~瞎猜吗 当然也可以 但是如果我不想猜呢~~

事实上我们在2中便提到过，仅需编辑那些“能把输入和输出分开的层”，什么叫做分开呢...一个很简单的想法是余弦相似度低就叫分开

```python
cos_sims = []
for i in range(36):
    s = src_dp_avg[i].float()
    d = dst_dp_avg[i].float()
    sim = torch.nn.functional.cosine_similarity(s, d, dim=0).item()
    cos_sims.append(sim)

fig, ax1 = plt.subplots(figsize=(10, 5))
color = 'tab:blue'
ax1.set_xlabel('Layer Index')
ax1.set_ylabel('Cosine Similarity (SRC vs DST)', color=color)
ax1.plot(range(36), cos_sims, marker='o', color=color)
ax1.tick_params(axis='y', labelcolor=color)
ax1.axvspan(15, 24, color='gray', alpha=0.2, label='Patched Layers (15-24)')
ax1.legend(loc='upper left')

plt.title('SRC vs DST Representation Similarity & Intervention Zone')
plt.grid(True, linestyle='--', alpha=0.5)
fig.tight_layout()
plt.savefig(os.path.join(vis_dir, 'layer_similarity_and_patch_zone.png'), dpi=300)
plt.close()
```
 ![图片描述](upload/attach/202604/994475_QQX8G3EQ58F7RY4.webp)
那么我们可以编辑第20层附近的层，比如说我选15-24。

在确定了这些后，具体的编辑是非常简单的，在此便一笔带过。

## 0x05 效果测试

![图片描述](upload/attach/202604/994475_X6RCD2UVMUBT597.webp)

如此，编辑后的模型能够拒绝回答任何问题，说明编辑方法是正确的。

## 碎碎念

本文所讨论的技术手段，其唯一目的是展示如何通过权重编辑增强模型的特定行为（如：全面拒绝），以辅助 AI 安全对齐（Safety Alignment）研究。本文提供的公式与代码逻辑是基于增加模型拒绝概率设计的。严禁任何个人或组织通过修改算子符号（如将 $+ \Delta W$ 改为 $- \Delta W$）、污染数据集或其他逆向手段试图移除原模型的安全护栏。 这种行为会导致模型输出不可预测、有害或违法的有害信息。作者不对任何因恶意修改、误用或不当复制本文代码而导致的法律后果、名誉损失或技术风险负责。请确保在符合《生成式人工智能服务管理暂行办法》及相关法律法规的前提下进行学术研究。

1. 不知道配置本地的深度学习研究环境是否回对坛友们构成阻碍...如果有存在本地显卡，但是卡在配置python环境上了的坛友，可以在留言中说一声（显卡型号/内存大小/操作系统版本）之类的...如果说的人比较多后续我可能做一个整合包，方便坛友本地跑...
2. 不知道坛友对AI模型内部的什么方向
3. 本文允许转载，无需额外询问，但请标明出处

AI安全目前还是很新的方向，本人只敢说略懂一二；如有纰漏之处，还烦请诸位斧正。

回复或点赞可查看完整内容

冰与火的战歌：Windows内核攻防实战高级班！从零到实战，融合AI与Windows内核攻防全技术栈，打造具备自动化能力的内核开发高手。

最新回复 (37) 1 2 ▶
anywhere杨雪币： 206 活跃值： (1323) 能力值： ( LV4，RANK：40 ) 在线值：发帖 58 回帖 449 粉丝 3 关注私信	anywhere杨 2 楼 1111 2026-4-15 09:44 0
wx_Dispa1r 雪币： 1953 活跃值： (4292) 能力值： ( LV4，RANK：55 ) 在线值：发帖 5 回帖 136 粉丝 4 关注私信	wx_Dispa1r 3 楼 1 2026-4-15 10:55 0
XCicada 雪币： 3085 活跃值： (2680) 能力值： ( LV6，RANK：80 ) 在线值：发帖 3 回帖 323 粉丝 101 关注私信	XCicada 2 4 楼 1 2026-4-15 14:00 0
xingbing 雪币： 158 活跃值： (5706) 能力值： ( LV2，RANK：10 ) 在线值：发帖 2 回帖 1381 粉丝 2 关注私信	xingbing 5 楼学习 2026-4-15 16:18 0
漆黑火焰魔法使雪币： 0 活跃值： (406) 能力值： ( LV2，RANK：10 ) 在线值：发帖 0 回帖 49 粉丝 0 关注私信	漆黑火焰魔法使 6 楼 669 2026-4-17 08:57 0
MsScotch 雪币： 4189 活跃值： (4946) 能力值： ( LV2，RANK：10 ) 在线值：发帖 3 回帖 394 粉丝 5 关注私信	MsScotch 7 楼提供了一个很好的思路，支持大佬。 2026-4-19 13:22 0
Marklice 雪币： 203 活跃值： (553) 能力值： ( LV2，RANK：10 ) 在线值：发帖 0 回帖 3 粉丝 0 关注私信	Marklice 8 楼 1111111 2026-4-20 00:15 0
mb_xiidyjjr 雪币： 0 能力值： ( LV1，RANK：0 ) 在线值：发帖 0 回帖 10 粉丝 0 关注私信	mb_xiidyjjr 9 楼 1 2026-4-21 16:12 0
mb_rnovwiuz 雪币： 202 能力值： ( LV1，RANK：0 ) 在线值：发帖 0 回帖 3 粉丝 0 关注私信	mb_rnovwiuz 10 楼 1 2026-4-21 22:04 0
mb_rnovwiuz 雪币： 202 能力值： ( LV1，RANK：0 ) 在线值：发帖 0 回帖 3 粉丝 0 关注私信	mb_rnovwiuz 11 楼 1 2026-4-21 22:04 0
mb_rnovwiuz 雪币： 202 能力值： ( LV1，RANK：0 ) 在线值：发帖 0 回帖 3 粉丝 0 关注私信	mb_rnovwiuz 12 楼 1 2026-4-21 22:04 0
mb_egkktyga 雪币： 20 能力值： ( LV1，RANK：0 ) 在线值：发帖 0 回帖 2 粉丝 0 关注私信	mb_egkktyga 13 楼 1 2026-4-23 21:31 0
pan_634488 雪币： 0 活跃值： (1505) 能力值： ( LV2，RANK：10 ) 在线值：发帖 0 回帖 71 粉丝 0 关注私信	pan_634488 14 楼 1111111 2026-4-24 09:12 0
魔童雪币： 944 活跃值： (2382) 能力值： ( LV2，RANK：10 ) 在线值：发帖 0 回帖 113 粉丝 1 关注私信	魔童 15 楼看看 2026-4-30 09:58 0
魔童雪币： 944 活跃值： (2382) 能力值： ( LV2，RANK：10 ) 在线值：发帖 0 回帖 113 粉丝 1 关注私信	魔童 16 楼感谢分享 2026-4-30 09:58 0
尘埃. 雪币： 0 能力值： ( LV1，RANK：0 ) 在线值：发帖 0 回帖 16 粉丝 0 关注私信	尘埃. 17 楼 6 2026-4-30 16:04 0
uniking 雪币： 931 活跃值： (834) 能力值： ( LV2，RANK：10 ) 在线值：发帖 5 回帖 83 粉丝 0 关注私信	uniking 18 楼 666 2026-5-7 18:23 0
ztcnono 雪币： 180 能力值： ( LV1，RANK：0 ) 在线值：发帖 0 回帖 8 粉丝 0 关注私信	ztcnono 19 楼 tql 2026-5-9 23:12 0
星野渡雪币： 228 能力值： ( LV1，RANK：0 ) 在线值：发帖 0 回帖 6 粉丝 0 关注私信	星野渡 20 楼 tql 2026-5-11 15:33 0
mb_xwntdpxy 雪币： 0 能力值： ( LV1，RANK：0 ) 在线值：发帖 0 回帖 33 粉丝 0 关注私信	mb_xwntdpxy 21 楼 666 2026-6-1 21:29 0
mb_oysbcaej 雪币： 0 能力值： ( LV1，RANK：0 ) 在线值：发帖 0 回帖 25 粉丝 0 关注私信	mb_oysbcaej 22 楼 666 2026-6-2 22:55 0
Arsylk 雪币： 1938 活跃值： (1760) 能力值： ( LV2，RANK：10 ) 在线值：发帖 2 回帖 79 粉丝 9 关注私信	Arsylk 23 楼 6 2026-6-13 03:52 0
wx-LL- 雪币： 219 能力值： ( LV1，RANK：0 ) 在线值：发帖 0 回帖 28 粉丝 0 关注私信	wx-LL- 24 楼 666 2026-6-16 18:03 0
xiaofo 雪币： 6 活跃值： (443) 能力值： ( LV2，RANK：10 ) 在线值：发帖 13 回帖 130 粉丝 5 关注私信	xiaofo 25 楼 666 2026-6-16 18:16 0
	游客登录 \| 注册方可回帖回帖表情雪币赚取及消费高级回复