
开源工具包聚合英国公共采购数据并对接 Companies House
来源标题:UK Open Contracting (OCDS v1.1.5) Pipeline and Companies House Ingestion
一个开源数据管道和客户端工具包发布,用于将英国 Find a Tender、Contracts Finder 和 Public Contracts Scotland 三大采购平台的公告聚合、按 OCDS v1.1.5 标准归一化,并通过 Companies House 补充企业信息。该工具通过内存令牌桶限流将供应商实体与 Companies House 匹配,并以关系型 JSON、24 列扁平 CSV 及面向 AI 智能体的 MCP 端点输出数据。英国公共采购每年规模超过 3000 亿英镑。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
英国开放合同数据(OCDS v1.1.5)管道与 Companies House 数据接入
这是一个开源数据管道与客户端工具包,用于汇总英国公共采购公告,覆盖 Find a Tender(CDP)、Contracts Finder 和 Public Contracts Scotland 三大平台,数据按开放合同数据标准(OCDS v1.1.5)进行规范化,并融合法定 Companies House 企业情报进行增强。
架构与管道 | 工程深度解析 | 查看示例数据 | 集成示例 | 模型上下文协议 | 托管执行(Apify)
英国的公共采购规模每年超过 3000 亿英镑。随着《2023 年采购法》的实施,内阁办公室将高价值公告集中到了 Find a Tender 中央数字平台(CDP)。
然而,直接消费原始采购数据源会面临严峻的数据工程挑战:
本项目将全部三个法定数据源统一到 OCDS v1.1.5 规范之下,通过内存中的令牌桶限流器将供应商实体与 Companies House 进行匹配解析,并以关系型 JSON 数据集、扁平化的 24 列 CSV 以及面向自主 AI 代理的模型上下文协议(MCP)端点等形式对外提供数据。
该管道并发查询全部三个法定数据源,执行去重与模式规范化,并在分发给消费者之前完成与 Companies House 的企业身份解析:
flowchart TD subgraph Sources["1. 公共采购数据源(OGL v3.0)"] FTS["Find a Tender CDP<br/>(高价值与中央数字平台)"] CF["Contracts Finder<br/>(门槛以下合同)"] PCS["Public Contracts Scotland<br/>(苏格兰下放公告)"] end subgraph Pipeline["2. 规范化与实体解析"] Ingest["摄入与去重<br/>(SHA-256 状态跟踪)"] Norm["OCDS v1.1.5 规范化器<br/>(GBP 标准化与 ISO 日期)"] Limiter["令牌桶限流器<br/>(≤ 110 请求/分钟,分数式补充)"] Match["Companies House 解析<br/>(法定 ID 与模糊匹配 >= 0.85)"] Enrich["企业档案融合<br/>(状态、董事、SIC 代码、邮编)"] end subgraph Delivery["3. 消费者子系统"] Dataset["关系型数据集<br/>(完整 OCDS JSON)"] CSV["表格存储<br/>(24 列 OUTPUT.csv)"] MCP["模型上下文协议<br/>(Claude、Cursor、LangChain、LlamaIndex)"] end FTS --> Ingest CF --> Ingest PCS --> Ingest Ingest --> Norm Norm --> Limiter Limiter --> Match Match --> Enrich Enrich --> Dataset Enrich --> CSV Dataset --> MCP Loading
工程深度解析
- OCDS v1.1.5 模式规范化与基数
开放合同数据标准(OCDS v1.1.5)将采购过程划分为五个顺序阶段:规划、招标、授标、合同和实施。然而,关系型转换会带来一些独特的复杂性:
官方的 Companies House REST API 提供企业实体记录、申报历史和高级职员任命信息,但会强制执行严格的边界条件:
// 连续分数式补充计算 const now = this.clock(); const elapsedMs = now - this.lastRefillTimestamp; if (elapsedMs > 0) { this.tokens = Math.min(this.capacity, this.tokens + (elapsedMs * this.refillRatePerMs)); this.lastRefillTimestamp = now; 动态响应头检查:每个 HTTP 响应都会跟踪 X-Ratelimit-Limit、X-Ratelimit-Remain、X-Ratelimit-Reset 和 X-Ratelimit-Window。如果 X-Ratelimit-Remain 降至 10 以下,限流器会暂停执行,直到重置时间点到期。
司法辖区特例与标识符规范化:
前导零:英格兰和威尔士的公司拥有 8 位数字标识符。通过未加引号的 CSV 管道导出记录时,前导零经常被剥离(例如 08912345 被截断为 8912345)。规范化器会自动为数字字符串左侧补零,以确保查询有效。
下放辖区前缀:苏格兰注册实体使用 SC 前缀(例如 SC123456),北爱尔兰实体使用 NI,有限责任合伙企业使用 OC。匹配器在执行精确或模糊字符串查询之前会先解析这些法定前缀。
模糊匹配阈值:自由文本形式的供应商名称会先经过清洗(去除标点符号、公司后缀如“LTD”、“LIMITED”、“PLC”以及空白异常),然后运行 Levenshtein 距离评分。CRN 精确匹配的置信度评分为 1.0,而模糊候选匹配则需要置信度 $\ge 0.85$ 才会附加企业情报。
输出格式与数据规格
输出以两种格式提供:
列名 类型 描述 示例值 1 ocid String 开放合同数据标准标识符 ocds-h6vhtk-045e7f-d8e2f9a1 2 source_platform String 来源采购平台 find_a_tender 3 notice_type String 公告生命周期类别 award 4 status String 采购状态 complete 5 published_date String 公告发布日期,ISO 8601 UTC 格式 2026-11-10T14:30:00Z 6 deadline_date String 提交截止日期;若为授标公告则为空 2026-12-15T12:00:00Z 7 title String 公告法定标题 Cloud Infrastructure Migration 8 description String 采购范围摘要 Statutory cloud migration contract. 9 buyer_name String 签约机构名称 Department for Science, Innovation and Technology 10 buyer_id String 法定签约机构标识符 GB-GOVUK-DSIT 11 buyer_region String 买方所在地区 London 12 supplier_name String 中标供应商名称 Cloud Operations Limited 13 company_number String Companies House 注册号(8 位数字) 08912345 14 company_status String 公司法定状态 active 15 company_incorporation_date String 成立日期(YYYY-MM-DD) 2014-02-18 16 registered_postcode String 注册办公地址邮编 EC2A 4NE 17 sic_codes String 以分号分隔的行业分类代码 62020;62090 18 active_directors String 以分号分隔的董事名单及角色 SMITH, John (director);DAVIES, Sarah (director) 19 award_value_gbp Decimal 授标合同价值(英镑) 450000.00 20 tender_value_gbp Decimal 预估采购预算(英镑) 450000.00 21 currency String 标准化货币代码 GBP 22
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。