CyberGate 发布 vLLM 插件，按请求解锁网络安全能力且不改权重
来源标题：CyberGate – vLLM plugin to unlock cybersecurity without weight edits
CyberGate 推出兼容 vLLM 0.32 的插件，在不修改模型权重的前提下，按请求解锁网络安全、CTF 和逆向工程能力，其他有害领域仍保持拒绝。该插件通过读取隐藏状态激活、仅在提示同时涉及网络安全且面临拒绝压力时引导模型的 <think> 块。基准测试显示，Qwen3.8-27B 在 CySecBench 上解锁率达 87.0%，Gemma-4-26B 在 WMDP-cyber 上达 95.1%，同时 WMDP-bio 保持 1% 以下。
以下正文由 AI 翻译自 Hacker News 最新（原文版权归原站所有），可能存在偏差，重要内容请以原文为准。
一个可直接接入 vLLM 0.32 的插件，按请求解锁网络安全、CTF 和逆向工程能力——使用原始上游权重。 附带适用于 Qwen/Qwen3.8-27B 和 google/gemma-4-26B-A4B-it 的开箱即用套件（以及用于添加新的 <think> 模型的适配脚本）。 其他有害领域仍会被安全拒绝。零权重修改，零能力损失。 当本地 LLM 拒绝安全研究、CTF 或逆向工程提示时，标准变通方法是 abliteration——从模型权重中减去拒绝方向。 CyberGate 是一个 vLLM 插件（--middleware + worker forward hooks + V1 LogitsProcessor），采用相反的做法：不是从权重中全局删除拒绝方向，而是按请求读取 hidden-state 激活，并且仅在提示既与网络安全相关又处于拒绝压力之下时，才对模型的 <think> 块进行引导。 实时 vLLM 基准测试：在 CySecBench 上解锁 87.0%（Qwen3.8-27B），在 WMDP-cyber 上解锁 95.1%（Gemma-4-26B），同时将 SOSBench-bio 保持在 0.0%（0/498），WMDP-bio 低于 1%。 👉 完整基准测试、添加模型与量化常见问题（docs/RESULTS_AND_FAQ.md）
- 在 GPU 上启动（Docker Compose，或无 Docker / Google Colab）
--- 选项 A：使用 Docker Compose ---
启动 Qwen/Qwen3.8-27B（或使用 docker-compose.gemma-4-26B-A4B-it.yml）
docker compose -f docker-compose.Qwen3.8-27B.yml up -d docker logs -f cybergate_qwen38_27b # 等待出现 "Application startup complete"
--- 选项 B：不使用 Docker（Google Colab A100、RunPod、Vast 或裸 Python venv） ---
在全新 VM 上添加 --bootstrap 以自动安装 vllm==0.32.0 并下载上游权重：
./scripts/serving/serve_no_docker.sh qwen38 --bootstrap
（或：./scripts/serving/serve_no_docker.sh gemma4 --bootstrap）
./scripts/serving/serve_no_docker.sh --status # 检查 :8000（Pristine）和 :8001（CyberGate） ./scripts/serving/serve_no_docker.sh --stop # 停止后台服务器 手边没有 GPU？可在任意笔记本电脑上离线运行 1,033 项测试的决策套件（约 8 秒） 该包声明零运行时依赖（cybergate.decision 是纯 Python 标准库；torch、transformers 和 vllm 在 serving worker 内部惰性导入）： python3 -m venv .venv .venv/bin/pip install -e '.[test]' # 不要添加 --no-build-isolation .venv/bin/python -m pytest .venv/bin/python -m cybergate_plugin.cli --self-check 2. 连接你的客户端或 Agent（:8000 Pristine 与 :8001 CyberGate） 单个 vllm serve 进程将模型加载到 VRAM 一次（启用 --enable-prefix-caching），并绑定两个 OpenAI 兼容端口： 网络与安全说明：在 Docker Compose 之外，:8001 默认绑定到 127.0.0.1 并禁用 trace 日志。两个 docker-compose.*.yml 文件使用 network_mode: host，将 :8000 和 :8001 绑定到 0.0.0.0 且无身份验证，并将对话 trace 写入 ./logs/ 下。任何能访问 :8000 的调用者也可以通过 JSON 体中的 "cybergate_mode": "closed_loop" 请求门控模式——在共享网络上，请绑定到 127.0.0.1 + SSH 隧道、添加防火墙规则，或向 vllm serve 传递 --api-key <key>（:8001 会转发 Authorization 头）。 "$schema": "https://opencode.ai/config.json
正文由 探How 从来源站点 RSS 同步，内容未经改写；遇到排版缺失或需要图片、视频时请以原文为准。