返回资讯中心
外部精选
软件工程
#开发者实时流

Show HN 发布基于 C++23 的超低延迟 HFT 引擎与无锁环形缓冲区

来源标题:Show HN: Ultra-Low Latency C++23 HFT Engine and Lock-Free Ring Buffers

开发者发布了一个用 C++23 实现的超低延迟高频交易执行架构,采用内核旁路、无锁环形缓冲区和 Solarflare OpenOnload。在 AMD EPYC 9004 或 Intel Sapphire Rapids 搭配 Solarflare X2522 网卡的硬件上,从内核旁路到下单的 tick-to-trade 延迟目标为 p50 约 450ns、p99 低于 1.8µs、p99.9 低于 4µs。

Hacker News 最新snowdensay2026/11/13 · 4 天前30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

现代 C++23 的超低延迟 HFT 执行架构:内核旁路、无锁环形缓冲区与 Solarflare OpenOnload。 🚀 Snowden SAY | 深度系统工程实验室社区: 在我们的工程频道里,每天都有对生产环境事故、内存泄漏、Linux 内核调优和无锁模式的深度剖析:@snowdensay。 📚 完整专著(全部 5 章 + 含测试的代码仓库):可在 Telegram 机器人 @Snowden_book_bot 获取 模块 1(见下文):架构基础、内存布局与不变量 模块 2:高并发核心与无锁数据结构(完整手册) 模块 3:生产环境崩溃恢复、WAL 与状态机一致性(完整手册) 模块 4:内核旁路 I/O、SIMD 加速与硬件卸载(完整手册) 模块 5:真实事故复盘、混沌工程与生产环境基准测试(完整手册) 第 1 章 — 微秒级执行架构:CPU 绑核、核心隔离与 OS 抖动消除 1.1 延迟预算:纳秒都花到哪里去了 在现代硬件(AMD EPYC 9004“Genoa”或 Intel Sapphire Rapids,Solarflare X2522 网卡)上,一条精心设计的 tick-to-trade 路径,从内核旁路数据包到达至订单报文发出,目标是 p50 ≈ 450ns、p99 < 1.8µs、p99.9 < 4µs。分解如下: 每一种抖动来源——缓存驱逐、TLB shootdown、IRQ 风暴、SMI、缺页——攻击的都是尾部,而不是中位数。交易所会因尾部延迟而拒绝:行情处理器上 400µs 的 99.9 百分位尖峰,意味着在 CME/ICE 失去队列位置,每个事件都会损失可衡量的 alpha。本章的架构目标:消除 OS 作为调度器的角色,并隔离 CPU 核心,使其表现得像确定性的协处理器。 ┌──────────────────────── OS 抖动来源(在裸机上实测,5.15 内核) ───────────────────────┐ │ │ │ 来源 典型尖峰 机制 │ │ ─────────────────────────── ───────────── ────────────────────────────────────── │ │ SMI(系统管理中断) 20µs – 4ms SMM 固件以与 │ │ hypervisor 相同的特权级运行,对 OS 不可见。BIOS 设置。 │ │ 内核抢占 2 – 50µs CFS 调度器时间片到期(sched_latency │ │ 默认 6ms)打断热线程。 │ │ IRQ 处理(网络、定时器) 5 – 100µs MSI-X 向量落在已绑核的核心上,但未做 │ │ 亲和性绑核。 │ │ TLB shootdown IPI 2 – 15µs 其他线程上的 mprotect/munmap 会通过 IPI │ │ 强制远程 TLB 失效。 │ │ RCU 回调 / kswapd 10 – 500µs 直接/间接回收,kcompactd │ │ 在你的核心上运行。 │ │ 定时器 tick(CONFIG_HZ=250) 1 – 10µs 周期性 tick + 调度器负载均衡。 │ │ 缺页 1 – 500µs 按需分页、次要缺页、透明 │ │ 大页合并(khugepaged)。 │ │ 频率切换(P-state) 20µs – 1ms C-state 退出延迟(在 Intel 上 C6 最多可造成 │ │ 240µs 的封装级排空)。 │ └───────────────────────────────────────────────────────────────────────────────────────────────────────┘ 1.2 隔离栈:启动内核 → IRQ 引导 → 线程亲和性 隔离是一份分层契约。下面每一层都必须成立,否则上一层就毫无意义。 isolcpus=nohz_full,domain,managed_irq,2-27 # 将核心 2-27 从调度器域中移除 nohz_full=2-27 # 当只有 1 个可运行任务时抑制周期性 tick rcu_nocbs=2-27 # 将 RCU 回调卸载到管家核心 0-1 rcu_nocb_poll # 不依赖 IPI 来触发 nocb 内核线程 irqaffinity=0-1 # 默认 IRQ 亲和性指向管家核心 intel_pstate=disable # 或 amd_pstate=disable;改用 acpi-cpufreq processor.max_cstate=1 intel_idle.max_cstate=0 # 阻止深度 C-state(C6 退出 = 240µs) transparent_hugepage=never # khugepaged 合并 = 100µs+ 停顿 mitigations=off # 可选:挽回约 7% 因 retpoline/

MDS 刷新损失的 IPC;按公司策略接受风险

skew_tick=1 # 错开各 CPU 的定时器 tick,避免锁护航 不变量:带 nohz_full 的 isolcpus 只有在核心恰好运行一个任务时才保证 tick 消失。在一个隔离核心上运行两个热线程,你就会退回到带 tick 的调度,外加上下文切换导致的 TLB 刷新——这是最常见的单一误配置。 来自网卡的 MSI-X 向量绝不能落在隔离核心上。在 smp_affinity 上,每个 RX 队列向量都要设置显式掩码: for v in /proc/irq/*/smp_affinity_list; do irq=$(basename $(dirname $v)) case $irq in x2522|ef_v|enp) echo 0 > $v ;; # 将网卡向量绑定到管家核心 0 esac done 使用 DPDK 时,IRQ 无关紧要(轮询模式);使用 ef_vi/onload 时,轮询和中断两种模式都会用到——混合模式(先中断突发再轮询)在低包速率下以 400ns 的尾部代价(中断合并定时器)换来 900ns 的 p50,而纯轮询为 1.2µs。 把所有东西都绑住。mlockall(MCL_CURRENT | MCL_FUTURE) 防止换出;预先触 fault 每一页(次要缺页约 1µs;重大缺页是一次磁盘读取,NVMe 上约 80µs)。启动时预分配并触碰所有缓冲区,使热路径中永远不会发生按需分页。NUMA:热线程的内存必须位于其核心所在插槽的本地——在 Genoa 上,跨插槽 L3 命中会增加 +38ns,跨插槽(UPI/Infinity Fabric)跳转增加 +95–140ns。在双路 2×32 核上,将策略线程绑到插槽 1,而行情环形缓冲区位于插槽 0 的 DRAM,会因缓存行在 Fabric 上弹跳而使 tick-to-trade 增加约 1.2µs。 flowchart LR subgraph HK["管家核心 0-1(未隔离)"] IRQ[IRQ 处理程序<br/>网卡 MSI-X 向量] KS[kthreads:kswapd、RCU nocb、<br/>kcompactd、khugepaged] SSH[shell / 监控 /<br/>网络栈 / 日志] end subgraph ISO["隔离核心 2-27(isolcpus、nohz_full)"] MD[核心 2:行情读取器<br/>轮询 ef_vi RX 环<br/>SCHED_FIFO 80] STRAT[核心 3:策略<br/>事件循环<br/>SCHED_FIFO 80] ORD[核心 4:订单网关<br/>seqlock 写入器<br/>SCHED_FIFO 80] TL[核心 5:遥测<br/>SCHED_OTHER,刻意设为低优先级] end NIC[("Solarflare X2522<br/>DMA 环位于<br/>大页内存")] -->|旁路内核| MD MD -->|无锁 SPSC 环<br/>64B 填充缓存行| STRAT STRAT -->|SPSC 环| ORD ORD -->|ef_vi TX| NIC ISO -. "无 IRQ、无 tick、<br/>无内核线程、无缺页" .-> HK 加载中

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →