
开发者测试发现:Claude Code 在 CLAUDE.md 中加入一行指令即可大幅提升技能调用率
来源标题:Attempts to improve skill discovery in Claude Code
Claude Code 在未被提示时几乎不会主动读取技能:587 个测试任务里,Haiku 只打开正确技能 2 次,Sonnet 7 次。在 CLAUDE.md 中加入一段要求先搜索技能(用 skill-finder 脚本或 grep)的指令后,两者分别升至 47 和 40 次,Opus 的十任务样本结果类似。作者用 897 个技能测试,并指出 skill-finder 本身可用 grep 替代。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
Claude Code 中的技能发现改进尝试
与网页版内容相同:ydmitry.github.io/skill-finder。
在使用 Claude Code 中的技能时,我对以下几点感到担忧:
因此我决定写一个帮助查找所需技能的技能:skill-finder。结果发现秘诀在于 CLAUDE.md 中的指令,而 skill-finder 本身可以用 grep 替代。
除非被告知去查找,Claude Code 很少会读取任务所需的技能。在我的测试中,Haiku 上 58 个任务里只有 2 个打开了所需技能,Sonnet 上是 7 个。在 CLAUDE.md(Claude Code 每次会话都会读取的常驻指令文件)中加入一段话后,这两个数字分别变成了 47 和 40。在 Opus 上进行的十任务抽样也呈现同样的趋势。
这段话指示 Claude 先搜索技能,可以用我的脚本 skill-finder(“查找器”),也可以用普通的 grep。两者效果大致相当。这些是测试任务,不是真实工作。跳到指令部分。
当技能数量很多时,Claude 只能看到它们的名称和简短描述,很少会打开正确的那个。我测试时用了 897 个技能,而不是几十个。
当团队将约定放在技能中时,Claude 无法遵循它没有读过的规则。
当一个任务需要第二个技能,而一开始没人能说出它的名字时。例如,一次评审打开了一个文件,而该文件涉及某个有自己规则的东西。
要放入 CLAUDE.md 的指令
将以下内容放入 ~/.claude/CLAUDE.md 或项目的 CLAUDE.md 中。先获取脚本:git clone https://github.com/ydmitry/skill-finder ~/.claude/skills/skill-finder。
Skills
在你编写代码、计划、评审或任何其他工作之前,先查找技能。首先阅读请求及其提到的每个文件。列出其中出现的内容:事物、活动、材料和技术,以及最终成果的名称。用一个简单命令(不要循环,不要变量)查找所有这些内容,每个用一个 --phrase,按顺序两到三个词。将其作为独立命令运行,不要与其他命令连接: python3 ~/.claude/skills/skill-finder/scripts/find_skills.py --phrase "<a name>" --phrase "<another name>" 它会列出包含某个短语的技能和参考文件。在写任何东西之前,完整阅读所有列出的且适用的技能,以及所有列出的且适用的参考文件,以及技能文件夹中适用的参考文件。遵循它们所说的内容。如果没有列出适用的内容,则不使用技能继续。对于一行答案以及任务明确指定了技能的情况,跳过此步骤。
查找不是一步完成的。在你阅读了一个技能或参考文件之后,用同样的方式查找它提到的、你之前的查找未覆盖的每个事物、领域或数据类型。在写作之前做这件事,并且在每阅读一个新文件之后再做一次。如果查找没有列出适用的内容,尝试其他词语。
最后一段告诉 Claude 在每阅读一个文件后再次查找。我在下文中称之为“再次查找”。
用 grep 实现的同一指令。我测试的是一个接近的版本,不是这段确切的文本。
Skills
在你编写代码、计划、评审或任何其他工作之前,先查找技能。首先阅读请求及其提到的每个文件。列出其中出现的内容:事物、活动、材料和技术,以及最终成果的名称。用一个简单命令(不要循环,不要变量)查找所有这些内容,每个用一个 -e,按顺序两到三个词。将其作为独立命令运行,不要与其他命令连接: grep -Ril --include=SKILL.md -e "<a name>" -e "<another name>" ~/.claude/skills 它会列出包含某个短语的技能文件。在写任何东西之前,完整阅读所有列出的且适用的技能,以及其文件夹中适用的参考文件。遵循它们所说的内容。如果没有列出适用的内容,则不使用技能继续。对于一行答案以及任务明确指定了技能的情况,跳过此步骤。
查找不是一步完成的。在你阅读了一个技能或参考文件之后,用同样的方式查找它提到的、你之前的查找未覆盖的每个事物、领域或数据类型。在写作之前做这件事,并且在每阅读一个新文件之后再做一次。如果查找没有列出适用的内容,尝试其他词语。
将你的其他技能文件夹添加到命令中。在 macOS 上,如果它们是符号链接,请添加 -S。
我使用了两个测试套件和三个 Claude 模型:Haiku(小型)、Sonnet(中型)和 Opus(最大型)。
第一个套件关于本地规则。它有十二个为测试编写的技能,属于一个虚构团队,隐藏在 897 个公共技能中。每个技能包含带有 ID 的虚构规则,Claude 无法猜到。例如,规则 API-14 规定,合作伙伴端点的 URL 必须以 /px/ 开头。24 个任务(一个计划或一次评审)每个都需要来自三个技能的三个规则。每个任务运行两次,这提供了 144 次遵循规则的机会。当规则的 ID 出现在答案中时,该规则被视为已被遵循。
第二个套件是来自 Skill-Use-Bench(arXiv 2608.04828)的 58 个任务,每个任务都有一个作者声称它需要的技能。“已打开”意味着该技能的文本已到达 Claude。这些不是该基准的官方分数。
Haiku 和 Sonnet 运行了所有内容。Opus 从每个套件运行了十个任务,因为它的成本更高。
在每次比较之前,我写下了通过规则。这里的规则是 15 个百分点的差距,且一个设置在明显更多的任务中领先于另一个。下文中的“未显示”意味着该规则未被满足。
每个基准任务运行一次,每个本地规则任务运行两次,同一设置的两次运行相差 2 到 5 个任务,因此小的差距意义不大。答案也可能引用规则的 ID 而没有应用该规则。
测试框架和运行记录未发布:它们包含他人技能的副本和基准任务的副本。
在没有指令的情况下,Claude 几乎从未找到技能。有了指令后,它找到了大多数技能。这在两个套件上、对于三个模型中的每一个都满足了通过规则。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。