Safehttp:为Go提供防SSRF的HTTP客户端
来源标题:Safehttp – An SSRF-resistant HTTP client for Go
Safehttp 是一个基于 Go net/http 构建的 HTTP 客户端,用于防止应用在抓取用户提供的 URL 时遭受服务端请求伪造(SSRF)攻击。它提供比 Go 默认 HTTP 客户端更严格的默认设置和额外检查,可作为直接替代品使用,限制请求可访问的目标地址。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
safehttp 是一个 Go 的 HTTP 客户端,它会检查请求被允许发往何处。它基于 net/http 构建,帮助那些需要获取用户提供的 URL 的应用防范服务端请求伪造(SSRF)。
我经常需要让应用去获取用户或客户提供的 URL。会获取第三方提供 URL 的功能有不少,比如图片导入、webhook 发送、链接预览等。
然而,服务器可能能够访问用户无法直接访问的内部服务(数据库、仪表盘等)。SSRF 让攻击者得以利用应用的网络访问能力,向这些服务发起请求。
Go 默认的 HTTP 客户端不限制访问这些目标。safehttp 是一个可直接替换的方案,它带有更严格的默认设置和额外检查,帮助防范 SSRF。
一个原本用途单一的应用,可能通过多种方式访问到内部服务。
用户可以提供一个 http://10.0.0.5/admin。如果该地址属于内部管理仪表盘,应用就可能从服务器的私有网络内部访问到它。
私有网络 用户提供 URL 应用服务器 获取 URL 内部服务 10.0.0.5 服务器能够访问用户无法访问的目标。
目标也可以是回环地址,例如 http://127.0.0.1:8080/admin,从而访问仅监听 localhost 的管理仪表盘。
返回响应可能泄露数据。即使攻击者看不到响应,请求本身仍可能触发某个操作。
Go 默认客户端不会拒绝内部地址,开发者必须专门编写代码来阻止这种行为。safehttp 默认阻止私有和回环目标,即使你将其配置为允许 HTTP 或额外端口也是如此。
除私有网络外,safehttp 还会阻止链路本地地址、组播地址,以及基于 IANA 的 IPv4 和 IPv6 注册表选定的一些特殊用途地址段。
其中包括用于运营商级 NAT 的共享地址空间,如 100.64.0.0/10,以及保留给文档或网络基准测试的地址段。需要某个被阻止地址段的应用仍可显式允许它。
外部主机可以返回重定向,要求客户端去获取另一个 URL。当某个资源(例如图片)已迁移时,这很有用,但替换后的地址可能是 https://127.0.0.1/admin。
公共主机 302 Found Location: https://127.0.0.1/admin 检查目标 回环地址 已阻止 不向重定向目标发起请求 每一次重定向都需要重新检查目标。
Go 默认的重定向策略确实限制了最大重定向次数,但不会因为目标是内部地址而拒绝它。
safehttp 则会对每次重定向按目标策略进行检查,并检查任何新连接所使用的 IP 地址。应用还可以配置最大重定向次数,或在理想情况下选择完全禁用重定向。
DNS 重绑定会在不改变 URL 的情况下改变目标。在连接之前,客户端会用 DNS 查询主机名的 IP 地址。像 images.example.com 这样的名称有可能解析到一个内部地址。
应用可能先查询地址并检查它是公网地址。但 HTTP 客户端在连接时可能再次查询。控制 DNS 应答的攻击者可以先返回一个公网地址让检查通过,然后在连接时返回一个内部地址。
images.example.com 先前验证 连接尝试 公网 IP 首次 DNS 应答 10.0.0.5 新的 DNS 应答 检查通过 safehttp 阻止 私有 IP,不建立连接 主机名保持不变。目标却变了。
同样,Go 默认的 transport 不会过滤 DNS 返回的内部地址。
另一方面,safehttp 会检查每次新连接所选择的地址,并拒绝被阻止的目标,而不依赖先前的查询结果。
我推荐 Doyensec 的 safeurl 文章,那是一份很棒的深入资料,结合 Go 的 HTTP 客户端解释了这一方法。
使用代理时,应用连接到一个中间方,由它代为访问目标。Go 标准客户端可以使用环境变量中的代理设置,因此应用并不总是自己建立最终连接。
应用 HTTP 客户端 代理 转发请求 目标 客户端连接 代理连接 检查代理并不等于检查目标。
检查代理的地址并不会检查它将访问的目标。因此 safehttp 禁用了代理。
需要代理的部署必须在代理处执行目标限制,理想的实现是 Stripe 的 Smokescreen,它在出站代理处检查主机名和 IP 地址。
路由也可能发生在目标一侧。反向代理将请求转发到后端,通常使用 HTTP Host 头来选择后端。如果它信任调用方提供的任意主机名,那么发往公网地址的请求就可能被转发到内部服务。这也可以称为基于路由的 SSRF。
Go 确实允许应用覆盖出站的 Host 头,而 safehttp 默认拒绝覆盖为不同主机或端口。
公网反向代理 覆盖的 Host admin.internal 内部服务 信任被覆盖 Host 的代理可能将其转发到内部。safehttp 会在发送请求前拒绝这种不匹配。
与 Go 默认客户端的比较 safehttp.NewClient() 返回标准的 *http.Client,具备 Go 的连接池和 TLS 处理。唯一的区别在于目标检查。
这些默认设置是为获取公网 URL 而设计的。应用在需要时可以显式允许 HTTP、其他端口或私有地址段。如果某个功能只调用一个 API,最好将请求限制在该服务,而不是允许任何公网目标。OWASP 对获取任意 URL 和访问已知服务也做了同样的区分。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。