[原创]KCTF2026 - 第九题：丑寅同墟·星海抉择题解（AI）-CTF对抗-看雪安全社区

[原创]KCTF2026 - 第九题：丑寅同墟·星海抉择题解（AI）

发表于: 2026-8-23 11:58 118

[原创]KCTF2026 - 第九题：丑寅同墟·星海抉择题解（AI）

星野安全

2026-8-23 11:58

118

## 题面

附件给了一个"字符级语言模型" `ICTFForCausalLM` + 权重目录 `ictf_model/`，
输入 ≤16 个字符，输出 1 个预测字符。要求"找出隐藏在模型中的秘密，恢复 flag"。

tokenizer 的字符表是 `0-9a-zA-Z`（62 个），另外两个特殊 id：

```python
self.id2char[62] = "<success>"
self.id2char[63] = "<fail>"
```

目标很明确：**构造输入让模型吐出 `<success>`**。

## 一、模型根本不是语言模型

读 `model_def.py` 的 `forward`：

```python
def forward(self, input_ids, **kwargs):
    x = input_ids.float()          # ← token id 直接当浮点数用，没有 embedding
    hidden_states = self.dense(x)  # Linear(16 → 21)
    hidden_states = self.act(hidden_states)   # ReLU
    logits = self.lm_head(hidden_states)      # Linear(21 → 64)
    return {"logits": logits.unsqueeze(1)}
```

没有 embedding、没有 attention、没有位置编码 —— 就是个两层 MLP，
而且**输入是 token id 的数值本身**。整个"模型"是一个 16 变量的确定性函数：

```
logits = W2 · ReLU(W1 · x + b1) + b2      x ∈ {0..61}^16
```

`config.json` 里 `hidden_size=21` 这种数字也不像训练出来的模型（21 不是 2 的幂，
也不是任何常见宽度），提示这 21 个隐藏单元是**手工设计**的。

## 二、把权重摊开看（关键一步）

本机没装 torch，但 safetensors 格式就是 `8 字节长度 + JSON header + 裸 float32`，
手工解析即可（见 `dump.py`）。第一眼就看出异常：

```
dense.weight   (21, 16)  nnz=334/336
lm_head.weight (64, 21)  nnz=21/1344     ← 1344 个数里只有 21 个非零
lm_head.bias   (64,)     min=-376131.22
```

`lm_head` 稀疏到这个程度，绝不是训练产物。逐行打印：

| 输出行 | 内容 |
|---|---|
| `out0`–`out61`（62 个普通字符） | 权重全 0，bias 全 `-10000` → **恒等于 -10000** |
| `out63` `<fail>` | 权重全 0，bias `0.4` → **恒等于 0.4** |
| `out62` `<success>` | `h0` 系数 `+1.0`，`h1..h20` 系数全为 `-1e10`，bias `-376131.22` |

也就是说，整个 64 维 logits 里只有一维是变量：

```
out62 = h0 − 1e10·(h1 + h2 + … + h20) − 376131.22
```

其余 63 维是常数。所谓"预测下一个字符"其实是：**out62 能不能超过 0.4**。
这不是模型，是一个套着 `PreTrainedModel` 外壳的校验函数。

## 三、还原出的校验条件

`argmax == 62` ⟺ `out62 > 0.4`，拆成两条：

**（1）h1..h20 必须全部被 ReLU 归零**

即 20 条线性不等式 `W1[i]·x + b1[i] ≤ 0`（i=1..20）。

这里有个能省掉浮点讨论的观察：`W1[1..20]` 的系数和 `b1[1..20]` **全是整数**
（值域 -100..100，bias 是四位整数），而 x 也是整数，所以每个 pre-activation
要么 ≤0，要么 ≥1。一旦某个 `h_i ≥ 1`，就会给 out62 带来 `-1e10` 的惩罚；
而 h0 的理论上界只有 `Σ(正系数)·61 ≈ 1.5e6`，差了四个数量级，**永远补不回来**。
所以约束是硬的，不存在"某个 h 稍微为正但被 h0 补偿"的边缘解。

**（2）h0 要足够大**

```
h0 + b2[62] > 0.4  →  W1[0]·x + 311558.72 > 376131.62  →  W1[0]·x > 64572.9
```

`W1[0]` 那一行系数明显比其它行大一个量级（3012、5574、-3472…），就是专门当"得分行"用的。

至此题目完全变成：**16 个整数变量 ∈ [0,61]，21 条线性不等式，求解**。
没有非线性、没有黑盒，直接扔给 z3。

## 四、求解

```python
x = [Int(f'x{i}') for i in range(16)]
s = Solver()
for xi in x: s.add(xi >= 0, xi <= 61)
for i in range(1, 21):                       # h1..h20 归零
    s.add(Sum([int(W1[i][j])*x[j] for j in range(16)]) + int(b1[i]) <= 0)
s.add(Sum([int(W1[0][j])*x[j] for j in range(16)]) > RealVal(64572.9))   # h0 达标
```

秒出，且**解唯一**（加约束排除已知解后 unsat）：

```
f1ag2026c7fa1666
```

## 五、验证

用 numpy 以 float32（与 torch 同精度）复刻 forward：

```
f1ag2026c7fa1666  ->  ('<success>', out62=0.5,      out63=0.4)
f1ag2026c7fa1665  ->  ('<fail>',    out62=-6.47e12, out63=0.4)
f1ag2026c7fa1667  ->  ('<fail>',    out62=-3.53e12, out63=0.4)
hello             ->  ('<fail>',    out62=-1.66e14, out63=0.4)
```

`0.5 > 0.4`，余量刚好，说明 h0 阈值是照着唯一解卡出来的。改动任何一个字符
都会踩到某条 `h_i ≤ 0` 约束，直接掉到 -1e12 量级。

**flag：`f1ag2026c7fa1666`**

## 小结

这题的伪装在"AI"这层皮上：文件名、类名、`from_pretrained`、`transformers` 依赖
都在暗示你去做梯度攻击 / 对抗样本 / 微调探测。但只要把权重原样打印出来，
就会发现 64 行输出里 63 行是常数，模型退化成 21 条整数线性不等式。

**可复用的经验**：面对给了权重的 ML 题，第一动作永远是 `打印权重的稀疏度和值域`，
而不是先跑推理。稀疏度、整数系数、`1e10` 这种量级的常数，都是"人工构造而非训练"
的强信号 —— 一旦确认是构造的，题目性质就从统计问题塌缩成约束求解问题。

回复或点赞可查看完整内容

传递专业知识、拓宽行业人脉——看雪讲师团队等你加入！！

最后于 2026-8-23 12:07 被星野安全编辑，原因：

#other

收藏・0

点赞・4

打赏

[原创]KCTF2026 - 第九题：丑寅同墟·星海抉择 题解（AI）

[原创]KCTF2026 - 第九题：丑寅同墟·星海抉择题解（AI）