
CocoIndex 解决递归任务、并发上限与死锁的三难问题
来源标题:Trilemma: Recursive tasks, concurrency cap, no deadlock in XL agentic systems
CocoIndex 提出一种调度机制,让等待中的父任务把并发槽位借给子任务,从而同时实现递归任务、硬性并发上限和无死锁三个目标。常见方案只能满足其中两项。AI agent 的上下文构建管线和 agent 本身都会形成任务树,Claude Code 默认将子 agent 层级限制为 3 层、并发子 agent 上限为 20 个,达到上限即拒绝新任务。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
很多系统把工作组织成任务树来运行。一次构建会启动子构建,爬虫会顺着链接爬向更多页面,数据管道会把代码库拆成文件、再把文件拆成块,agent 会发起工具调用和子 agent。这些场景里,父任务启动子任务,然后等待它们的结果。
这类系统还需要限制同时运行的工作量,以便控制 CPU、内存或 API 配额。限制和任务树彼此冲突:等待中的父任务占着一个槽位,而它自己的子任务正需要这个槽位。
AI agent 会两次遇到这棵树。构建其上下文的管道从代码库扇出到文件、块和 embedding 调用;agent 本身则扇出到工具调用和子 agent。Claude Code 默认把子 agent 树限制在 3 层、最多 20 个运行中的子 agent,达到上限就拒绝新建,由调用方处理失败(文档)。
上下文管道和 agent 都是任务树
放大查看详情。 100%
常见做法只能给你三者中的两个:递归任务、硬性上限、无死锁。本文分享我们在 CocoIndex(让 AI agent 上下文保持新鲜的引擎)中如何同时做到这三点:等待中的父任务把自己的槽位一次借给一个子任务。
agent 读取的是索引,而不是索引器,所以限制这棵树的两种常见方式会失败,而且 agent 看不到任何错误。一种是在等待子任务时仍占着并发槽位的任务,它可能把索引器挂死;另一种是在第一个子任务处就交还槽位的任务,它会让内存一直增长,直到进程被杀。
当 agent 的上下文管道处理不当时会出什么问题
放大查看详情。 100%
让 agent 上下文保持新鲜的管道会持续运行在不断增长的源上,因此它必须有界,并且对每个输入都能跑完。
一个基于 CocoIndex 构建的索引器曾因内存耗尽被杀。在 CocoIndex 中,component 是工作单元,父任务通过挂载来启动一个 component。该索引器有两道并发限制:应用自己的闸门一次放行 256 个文件,引擎则限制同时运行的 component 数量。然而它死掉时,约有 15,000 个文件 component 在飞行中,每个都持有某个文件的内容(#2486)。
两道限制,中间夹着 15,000 个文件
放大查看详情。 100%
两道限制都没有把持有内存的文件算进去。任何“任务等待自己启动的任务”的工作负载都埋伏着同一个陷阱:递归目录遍历、爬虫、嵌套的 asyncio.gather 调用、带限制的 Go errgroup,以及为 AI agent 构建上下文的管道。
下图用本文的 asyncio 模型,在上限为 2 的情况下用三种方式跑同一棵树。选一种策略;Play 会重放它。
walkf1f2f3f4f5f6c1c2c1c2c1c2c1c2c1c2c1c2 占着一个槽位它的槽位被借给了一个子任务槽位沿这条边借出已启动,持有其内容,没有槽位已申请槽位,尚未启动已完成尚未创建 t = 2已用槽位 2 / 2飞行中 7内存中的文件内容6 / 6在 t = 15 完成,6 / 6 个文件同时在内存中;没有任何东西约束这一点
下面每段代码都在文末列出的机器和版本上跑过;输出直接抄自那些运行。只想看规则本身的话,可以跳到借出机制如何工作或检查清单。
给每个任务套一个 semaphore 是标准答案:Stack Overflow 上“How to limit concurrency with Python asyncio?”的高票回答(截至 2026 年 11 月约 121,000 次浏览)都用 asyncio.Semaphore,这对扁平的 task 列表是对的。在树里,问题变成:当子任务也需要槽位时,父任务拿自己的槽位怎么办,而 semaphore 给你两个答案。
在等待子任务的任务外面套 semaphore,一旦等待中的父任务占满所有槽位就会死锁:它们等待的子任务永远无法启动。这个 30 行的程序会挂住:
Copypython
import asyncio
sem = asyncio.Semaphore(2)
holding = 0 # tasks inside async with sem
leaves_done = 0
async def node(depth: int) -> None:
global holding, leaves_done
async with sem: # hold a slot for the whole run
holding += 1
try:
if depth == 0:
await asyncio.sleep(0.01) # a leaf does the real work
leaves_done += 1
else:
await asyncio.gather(node(depth - 1), node(depth - 1))
finally:
holding -= 1
async def main() -> None:
root = asyncio.create_task(node(3)) # 8 leaves, 15 tasks
done, _ = await asyncio.wait({root}, timeout=2)
if done:
print("finished")
else:
print(f"stuck after 2 s: {holding} tasks hold both slots, "
f"{leaves_done} of 8 leaves done")
root.cancel()
asyncio.run(main())
Copytext
stuck after 2 s: 2 tasks hold both slots, 0 of 8 leaves done
根任务拿走槽位 1,启动两个子任务。第一个子任务拿走槽位 2,启动它自己的两个子任务,后者找不到槽位。根任务的第二个子任务也在等待。现在两个槽位都属于那些正在等待无法启动的任务的父任务,没有什么会释放它们。这就是死锁的 hold-and-wait 条件,而 semaphore 是唯一的资源。更大的上限只会移动阈值:任何树只要等待中的父任务多到能填满上限,就会以同样方式停住。
Python 自己的 ThreadPoolExecutor 文档对线程下的同样形状发出过警告,那里每个槽位是一个工作线程:“Deadlocks can occur when the callable associated with a Future waits on the results of another Future.”
一种修复(CocoIndex 直到 1.0.25 都用它)是在启动子任务之前先交还槽位,这确实消除了死锁。但它也消除了界限:已经交还槽位的任务仍在飞行中,所以没有任何东西限制有多少任务在飞行,而且每个任务仍然持有它加载的东西。一个任务从启动那一刻起就在飞行中,直到完成。当它持有一个尚未交出的槽位时,它才在执行。
这个复现的形状像索引器。一次遍历启动 2,000 个文件任务。每个文件拿走一个槽位,读取 100 KB,交还槽位,然后等待 2 个执行慢步骤(现实中是 embedding 调用)的块任务,它们也在同样的上限 4 之下:
Copypython CAP = 4 sem = asyncio.Semaphore(CAP)
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。