JA4指纹技术解析:为何一个摘要能覆盖多个User-Agent
来源标题:Show HN: JA4 Fingerprinting: Why One Digest Can Cover User-Agents
JA4作为JA3的继任者,通过对TLS ClientHello关键字段排序后再哈希,解决了现代浏览器随机化扩展顺序导致JA3指纹不稳定的问题。一个JA4指纹可对应数十至数百个不同User-Agent字符串,作者以2026年11月BetterReads站点每日1.3万次请求的真实事件为例,说明这种不匹配现象及是否封禁该JA4指纹的决策过程。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
如果你从事威胁狩猎、机器人检测、WAF 或流量分析工作,大概见过这个令人困惑的信号: 一个 JA4 指纹,成千上万次请求,几十甚至上百个不同的 User-Agent 字符串。 乍看之下像是出错了,直到你弄清楚 JA4 到底测量什么、又忽略什么。下面先讲机制,再讲 2026 年 11 月中旬 BetterReads 的一起真实事件:当时这种错配表现为一个每天 13k 的桶,而我要决定是否直接 Deny 这个 JA4 本身。 相关的前期农场波次现场笔记:Fighting Scraping Farms on a Reading Site。 JA4 是 TLS ClientHello 指纹,是 JA3 的后继者。JA3 很容易失效,因为现代浏览器会随机化 TLS 扩展的顺序。JA4 通过在建哈希之前对关键字段排序来解决这个问题,因此指纹在扩展重排后仍保持稳定。 JA4_a _ JA4_b _ JA4_c 生产流量中的示例: t13d1515h1_8daaf6152771_de4a06bb82e3 JA4_a:明文元数据前缀 握手的高层属性: 客户端会列出它支持的 cipher suites。JA4 对这些数字 ID 排序、拼接,然后取截断的 SHA-256。JA3 使用原始顺序;JA4 的排序意味着随机顺序不再改变指纹。 JA4 处理的是 TLS 扩展类型 ID,而不是每个扩展内部的负载。 举例:supported_groups(0x000a)告诉服务器客户端喜欢哪些曲线。JA4 只关心扩展 0x000a 是否存在。两个客户端可以在该扩展内声明不同的曲线,却仍然共享同一个 JA4。 FoxIO 的 JA4 规范足够简短,可以直接用已解析的 ClientHello 字段实现。User-Agent 不是输入。这正是“同一 JA4、多个 UA”情况的全部要点。 import hashlib
GREASE 值形如 0x?a?a(例如 0x0a0a、0x1a1a……)。
def is_grease(value: int) -> bool: return (value & 0x0F0F) == 0x0A0A def truncated_sha256(payload: str) -> str: if not payload: return "000000000000" return hashlib.sha256(payload.encode("ascii")).hexdigest()[:12] def alpn_chars(first_alpn: str | None) -> str: if not first_alpn: return "00" if len(first_alpn) == 1: return first_alpn[0] + first_alpn[0] return first_alpn[0] + first_alpn[-1] def ja4( *, transport: str = "t", # "t" TCP/TLS,"q" QUIC tls_version: str = "13", # 来自 supported_versions,否则用 legacy sni_present: bool, cipher_suites: list[int], extension_types: list[int], signature_algorithms: list[int], first_alpn: str | None, ) -> str: ciphers = [c for c in cipher_suites if not is_grease(c)] extensions = [e for e in extension_types if not is_grease(e)] ja4_a = ( f"{transport}{tls_version}" f"{'d' if sni_present else 'i'}" f"{min(len(ciphers), 99):02d}" f"{min(len(extensions), 99):02d}" f"{alpn_chars(first_alpn)}" ) cipher_list = ",".join(f"{c:04x}" for c in sorted(ciphers)) ja4_b = truncated_sha256(cipher_list)
SNI (0000) 和 ALPN (0010) 已经在 JA4_a 中;从 JA4_c 中去掉它们。
ext_for_hash = sorted(e for e in extensions if e not in (0x0000, 0x0010)) ext_list = ",".join(f"{e:04x}" for e in ext_for_hash) sig_list = ",".join(f"{s:04x}" for s in signature_algorithms) ja4_c_payload = ext_list + (f"{sig_list}" if sig_list else "") ja4_c = truncated_sha256(ja4_c_payload) return f"{ja4_a}{ja4_b}_{ja4_c}"
来自 FoxIO 示例的 cipher 列表。排序后的十六进制字符串哈希为 8daaf6152771,
也就是下面 BetterReads 摘要中的 JA4_b。
EXAMPLE_CIPHERS = [ 0x1301, 0x1302, 0x1303, 0xC02B, 0xC02F, 0xC02C, 0xC030, 0xCCA9, 0xCCA8, 0xC013, 0xC014, 0x009C, 0x009D, 0x002F, 0x0035, assert truncated_sha256( ",".join(f"{c:04x}" for c in sorted(EXAMPLE_CIPHERS)) ) == "8daaf6152771"
相同的 TLS 字段,两个不同的 HTTP User-Agent:同一个 JA4。
digest = ja4( sni_present=True, cipher_suites=EXAMPLE_CIPHERS, extension_types=[ 0x001B, 0x0000, 0x0033, 0x0010, 0x0017, 0x002D, 0x000D, 0x0005, 0x0023, 0x0012, 0x002B, 0xFF01, 0x000B, 0x000A, 0x0015, signature_algorithms=[ 0x0403, 0x0804, 0x0401, 0x0503, 0x0805, 0x0501, 0x0806, 0x0601, first_alpn="http/1.1", ) print(digest)
-> t13d1515h1_8daaf6152771_de4a06bb82e3
与下面 BetterReads 排名第一的 JA4 相同。User-Agent 不是输入。
GREASE 过滤、QUIC 与 TCP 的区别,以及特定浏览器版本的精确扩展集合,在边缘侧仍然重要。这个示例足以说明为什么轮换 HTTP 头无法拆开这个 TLS 桶。
这份列表是“同一 JA4、多个 UA”的关键:
JA4 完全位于 TLS 层。User-Agent 是握手之后发送的 HTTP 头。它们在设计上就是解耦的。
JA4 是 TLS 栈配置画像,不是设备、浏览器或人。
桶在 HTTP 层分裂的常见原因:
运维层面的要点:不要把 JA4 当作唯一客户端 ID。把它当作“哪个 ClientHello 在跟我说话”。一个桶里可以同时装着恰好共享同一 TLS 栈的合法浏览器、SDK、抓取器和恶意软件。
BetterReads 部署在 Vercel Firewall 之后。我把 Bot Protection 保持在 Log(而不是 Challenge)。Challenge Mode 以前曾用 429 Security Checkpoint 页面误伤过好的爬虫。日志仍能暴露噪声摘要;它不会阻止 Fluid/SSR。真正节省算力的是被缓解的流量(x-vercel-mitigated: deny)。
如果只看“Top UA”,你会看到七个平庸的作恶者。如果看 JA4,你会看到一个 TLS 栈驱动了其中大部分。
没有 Observability Plus 时,dashboard 中的 Custom Query 是只读的。最近 24 小时的 Firewall Traffic 仍可通过 CLI 获取:
vercel firewall traffic inspect ja4 t13d1515h1_8daaf6152771_de4a06bb82e3
--group-by user-agent --top 20 --json
vercel firewall traffic inspect ja4 t13d1515h1_8daaf6152771_de4a06bb82e3
--group-by path --top 20
vercel firewall traffic inspect ja4 t13d1515h1_8daaf6152771_de4a06bb82e3
--group-by asn --top 20
vercel firewall traffic inspect ja4 t13d1515h1_8daaf6152771_de4a06bb82e3
--group-by ip --top 20
一次只能用一个 --group-by。在我的 CLI 版本中,多个标志会合并成一个细分。
该 JA4 下的完整 UA 集合(equals-match 候选):
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。