Node.js 新增实验性 green_threads 模块,用运行时调度替代操作系统线程
来源标题:Green Threads for Node.js
Node.js 通过 PR #67288 加入实验性 node:green_threads 模块,以 Stability 1.0 早期开发状态合入。每个 green thread 是独立的 V8 isolate,拥有自己的堆和垃圾回收器,不占用 OS 线程、事件循环或 Node.js 环境,而是共享进程级的小型 OS 线程池来执行任务。该模块仍是原型,能否长期保留取决于实际使用效果。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
PR #67288 为 Node.js 增加了一个实验性的 node:green_threads 模块。它是一个原型。它已经获得了落地所需的批准,稳定性级别为 1.0(早期开发),但它是否保留取决于它最终有多大用处。本文介绍它是什么、如何工作、与 worker threads 和 vm contexts 的对比,以及它的局限性。
green thread 是由运行时而非操作系统调度的执行线程。在这个实现中,每个 green thread 都是独立的 V8 isolate,拥有自己的堆和自己的垃圾回收器。它不会获得 OS 线程、事件循环或 Node.js 环境。相反,所有 green thread 共享一个进程级的小型 OS 线程池,由这些线程在有工作时运行它们。
import { GreenThread } from 'node:green_threads';
const greenThread = new GreenThread(`
onmessage = ({ data }) => postMessage(data * 2);
`);
greenThread.on('message', (value) => {
console.log(value); // 42
greenThread.terminate();
});
greenThread.postMessage(21);
在内部,green thread 拥有 ECMAScript 定义的 JavaScript 内置对象,以及一小串全局对象:postMessage() 和 onmessage、定时器、queueMicrotask()、一个转发到宿主的 console、EventTarget、AbortController、MessageChannel,以及一个作用域化的 BroadcastChannel。没有 require(),没有 process,没有文件系统,没有网络。green thread 只能做宿主赋予它能力去做的事。
green thread 收到的每条消息、每个定时器回调以及每次求值都是一个任务。同一个 green thread 的任务一次运行一个、按顺序执行,但不一定在同一个 OS 线程上。任务入队时,green thread 会被调度到空闲的池线程上。任务完成后,池线程继续处理下一个有工作的 green thread。正在等待某事的 green thread 会占用内存,但不占用线程。
线程池的线程数与 os.availableParallelism() 相同,默认最多 8 个,或由 NODE_GREEN_THREADS_POOL_SIZE 环境变量设定。最多有这么多的 green thread 同时运行 JavaScript。可以同时存在数千个 green thread。
Host: Node.js 主线程或 workerGreenThread 对象、env 函数、事件循环messages, RPCAheaprunningBheapno tasksidleCheapreadyDheaprunningEheapno tasksidleFheapno tasksidle… 还有数千个共享的 OS 线程池池线程 1 正在运行 A 的任务池线程 2 正在运行 D 的任务下一个空闲线程六个 green thread 运行在两个线程的池上。A 和 D 各在运行一个任务。C 有任务,在池线程空闲时运行。B、E 和 F 无事可做,不占用线程。
任务不会被抢占。运行时间很长的任务会在那么长的时间内一直占用它的池线程,除非触及 CPU 时间限制(详见下文)。
有几种方式可以进出数据。
消息的工作方式与 worker 相同:任一侧调用 postMessage(),使用结构化克隆和可转移的 ArrayBuffer。MessagePort 就是 node:worker_threads 使用的同一种端口,因此一个端口可以把 green thread 连接到它的宿主、另一个 green thread,或一个 worker。
宿主还可以传入一个 env 对象。其中的函数会成为 green thread 可以调用的 stub,调用返回 promise。使用 type: 'module' 时,green thread 的源码是一个 ES module,它的导出也以同样的方式返回给宿主。它导入的模块也来自宿主,要么以 bundle 形式,要么来自 resolve() 和 load() 钩子,因为 green thread 无法读取文件。
import { GreenThread } from 'node:green_threads';
const plugin = new GreenThread(`
import { slugify } from './util.js';
export async function transform(text) {
const prefix = await env.config('prefix');
env.log('transforming', text);
return prefix + slugify(text);
}
`, {
type: 'module',
filename: 'file:///plugins/slug/index.js',
modules: {
'file:///plugins/slug/util.js':
`export const slugify = (s) => s.toLowerCase().replaceAll(' ', '-');`,
},
env: {
async config(key) {
return { prefix: 'post-' }[key];
},
log(...args) {
console.log('[slug]', ...args);
},
},
resourceLimits: { maxTaskCpuTimeMs: 100, maxMemoryMb: 32 },
});
const { transform } = await plugin.exports;
console.log(await transform('Hello World')); // post-hello-world
await plugin.terminate();
一侧抛出的错误会以真正的 Error 对象到达另一侧,保留其 class、message、stack、code 和 cause。扩展自 RpcTarget 的对象和 AbortSignal 也可以双向传递。
每个 green thread 可以有自己的 CPU 时间和内存限制。CPU 限制计算的是 CPU 时间,而不是 wall time,因此正在等待定时器或宿主调用的 green thread 不会被计入。maxTaskCpuTimeMs 作用于每个任务,maxCpuTimeMs 作用于所有任务的总和。maxMemoryMb 同时覆盖 JS 堆和 ArrayBuffer。
import { GreenThread } from 'node:green_threads';
const spin = new GreenThread('onmessage = () => { for (;;); };', {
resourceLimits: { maxTaskCpuTimeMs: 50 },
});
spin.on('error', (error) => console.log(error.code));
// ERR_GREEN_THREAD_CPU_LIMIT
spin.postMessage('go');
const hog = new GreenThread(`
onmessage = () => {
const buffers = [];
try {
for (;;) buffers.push(new ArrayBuffer(1024 * 1024));
} catch (error) {
postMessage(\`\${error.name} after \${buffers.length} MB\`);
}
};
`, { resourceLimits: { maxMemoryMb: 32 } });
hog.on('message', (value) => {
console.log(value); // RangeError after 29 MB
hog.terminate();
});
hog.postMessage('go');
触及限制的 green thread 会被停止并发出一个 'error' 事件。进程中的其他内容不受影响。
创建一个 green thread 意味着创建一个 isolate,这需要几百微秒。setWarmPoolSize() 会提前准备好 isolate,这样启动一个 green thread 就只需从池中取一个:
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。