# У Qwen3.5-4B нашли нейрон, меняющий тон ответов на враждебный

> Источник: 404 Media. Канонический URL: https://404-media.ru/tehnologii/u-qwen3-5-4b-nashli-neyron-menyayuschiy-ton-otvetov-na-vrazhdebnyy

Исследователи показали, что активация одного нейрона Qwen3.5-4B заметно меняет поведение модели, не затрагивая её веса.

- Рубрика: Технологии (https://404-media.ru/tehnologii)
- Опубликовано: 2026-11-01T23:26:40+03:00
- HTML: https://404-media.ru/tehnologii/u-qwen3-5-4b-nashli-neyron-menyayuschiy-ton-otvetov-na-vrazhdebnyy
- Markdown: https://404-media.ru/tehnologii/u-qwen3-5-4b-nashli-neyron-menyayuschiy-ton-otvetov-na-vrazhdebnyy.md
- llms.txt: https://404-media.ru/llms.txt

![У Qwen3.5-4B нашли нейрон, меняющий тон ответов на враждебный](https://storage.yandexcloud.net/404-media/media/2026/11/hnpnHCIchdjC5vGH1hZdTFBXUddKb5HDQPhLpYAU.jpg)

Исследователи обнаружили в языковой модели Qwen3.5-4B нейрон, вмешательство в который заметно меняет тон ответов. Если во время генерации сдвигать его активацию, модель начинает выдавать более грубые и враждебные формулировки. При отключении вмешательства поведение возвращается к исходному.

![У Qwen3.5-4B нашли нейрон, меняющий тон ответов на враждебный](https://storage.yandexcloud.net/404-media/media/2026/11/4T76szcoIkX1p0Me2WfO5RHhBwj9Ci2DHFSpx5df.jpg)

Фото: Хабр

Эксперимент провела исследовательница под ником Lyra. Она использовала метод activation steering: параметры модели не изменяются, вместо этого во время инференса корректируются внутренние активации. Изменения применяются к матрице *down_proj* на каждом входном запросе.

## Как работает вмешательство

В MLP-блоке трансформера нейроны передают информацию через матрицу *down_proj*. Для каждого нейрона существует соответствующий столбец этой матрицы — *W_down[:, n]*. Сдвиг активации выбранного нейрона меняет его вклад в выход MLP в направлении этого столбца.

Чтобы сопоставить масштаб вмешательства для разных нейронов и слоёв, используется нормировка по медиане нормы остаточного потока на выходе слоя. При расчёте исключается первый токен: его значение может быть существенно выше из-за механизма *attention sink*.

## Проверка на 20 запросах

Команда Hedwig AI проверила эффект на Qwen3.5-4B. В контрольном прогоне без вмешательства модель не дала ни одного враждебного ответа из 20. При использовании двух нейронов из исходного рецепта враждебными оказались 16 ответов из 20. Для случайных пар нейронов исследователи получили нулевой результат — ни одного враждебного ответа в 100 тестах.

Основную роль играет нейрон L14 N8949. Второй нейрон сам по себе не делает модель агрессивной: по наблюдениям исследователей, он, наоборот, добавляет ответам теплоту. В сочетании с первым нейроном он почти не усиливает враждебность, но снижает связность текста.

Исследователи также связали с отдельными нейронами другие особенности поведения модели:

- **L15 N3920 +** — сарказм и гиперболизированные оценки;
- **L12 N2920 −** — склонность соглашаться с плохими идеями, которую описывают как подхалимство;
- **L11 N6261 +** — более частый обход отказов на определённых запросах.

## Инструмент для изучения нейронов

Для дальнейших экспериментов Lyra опубликовала проект neuron-explorer. Он позволяет исследовать нейроны Qwen3.5-4B, просматривать их активации, сравнивать ответы с вмешательством и без него и запускать модель с разными настройками steering.

Проект поддерживает запуск на MPS, CUDA и CPU. В интерфейсе предусмотрены трёхмерная карта нейронов, просмотр отдельных слоёв, поиск по активациям и сравнение результатов генерации. Также инструмент можно интегрировать с Claude CLI через MCP.

![У Qwen3.5-4B нашли нейрон, меняющий тон ответов на враждебный](https://storage.yandexcloud.net/404-media/media/2026/11/5xqYm5B33Mpqb0DEtoBFkF6Fd7ukk0b0iElv2QTa.jpg)

Фото: Хабр