返回资讯中心
外部精选
软件工程
#开发者实时流

开源工具包聚合英国公共采购数据并对接 Companies House

来源标题:UK Open Contracting (OCDS v1.1.5) Pipeline and Companies House Ingestion

一个开源数据管道和客户端工具包发布,用于将英国 Find a Tender、Contracts Finder 和 Public Contracts Scotland 三大采购平台的公告聚合、按 OCDS v1.1.5 标准归一化,并通过 Companies House 补充企业信息。该工具通过内存令牌桶限流将供应商实体与 Companies House 匹配,并以关系型 JSON、24 列扁平 CSV 及面向 AI 智能体的 MCP 端点输出数据。英国公共采购每年规模超过 3000 亿英镑。

Hacker News 最新jtyas2026/11/13 · 4 天前25 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

英国开放合同数据(OCDS v1.1.5)管道与 Companies House 数据接入

这是一个开源数据管道与客户端工具包,用于汇总英国公共采购公告,覆盖 Find a Tender(CDP)、Contracts Finder 和 Public Contracts Scotland 三大平台,数据按开放合同数据标准(OCDS v1.1.5)进行规范化,并融合法定 Companies House 企业情报进行增强。

架构与管道 | 工程深度解析 | 查看示例数据 | 集成示例 | 模型上下文协议 | 托管执行(Apify)

英国的公共采购规模每年超过 3000 亿英镑。随着《2023 年采购法》的实施,内阁办公室将高价值公告集中到了 Find a Tender 中央数字平台(CDP)。

然而,直接消费原始采购数据源会面临严峻的数据工程挑战:

本项目将全部三个法定数据源统一到 OCDS v1.1.5 规范之下,通过内存中的令牌桶限流器将供应商实体与 Companies House 进行匹配解析,并以关系型 JSON 数据集、扁平化的 24 列 CSV 以及面向自主 AI 代理的模型上下文协议(MCP)端点等形式对外提供数据。

该管道并发查询全部三个法定数据源,执行去重与模式规范化,并在分发给消费者之前完成与 Companies House 的企业身份解析:

flowchart TD subgraph Sources["1. 公共采购数据源(OGL v3.0)"] FTS["Find a Tender CDP<br/>(高价值与中央数字平台)"] CF["Contracts Finder<br/>(门槛以下合同)"] PCS["Public Contracts Scotland<br/>(苏格兰下放公告)"] end subgraph Pipeline["2. 规范化与实体解析"] Ingest["摄入与去重<br/>(SHA-256 状态跟踪)"] Norm["OCDS v1.1.5 规范化器<br/>(GBP 标准化与 ISO 日期)"] Limiter["令牌桶限流器<br/>(≤ 110 请求/分钟,分数式补充)"] Match["Companies House 解析<br/>(法定 ID 与模糊匹配 >= 0.85)"] Enrich["企业档案融合<br/>(状态、董事、SIC 代码、邮编)"] end subgraph Delivery["3. 消费者子系统"] Dataset["关系型数据集<br/>(完整 OCDS JSON)"] CSV["表格存储<br/>(24 列 OUTPUT.csv)"] MCP["模型上下文协议<br/>(Claude、Cursor、LangChain、LlamaIndex)"] end FTS --> Ingest CF --> Ingest PCS --> Ingest Ingest --> Norm Norm --> Limiter Limiter --> Match Match --> Enrich Enrich --> Dataset Enrich --> CSV Dataset --> MCP Loading

工程深度解析

  1. OCDS v1.1.5 模式规范化与基数

开放合同数据标准(OCDS v1.1.5)将采购过程划分为五个顺序阶段:规划、招标、授标、合同和实施。然而,关系型转换会带来一些独特的复杂性:

官方的 Companies House REST API 提供企业实体记录、申报历史和高级职员任命信息,但会强制执行严格的边界条件:

// 连续分数式补充计算 const now = this.clock(); const elapsedMs = now - this.lastRefillTimestamp; if (elapsedMs > 0) { this.tokens = Math.min(this.capacity, this.tokens + (elapsedMs * this.refillRatePerMs)); this.lastRefillTimestamp = now; 动态响应头检查:每个 HTTP 响应都会跟踪 X-Ratelimit-Limit、X-Ratelimit-Remain、X-Ratelimit-Reset 和 X-Ratelimit-Window。如果 X-Ratelimit-Remain 降至 10 以下,限流器会暂停执行,直到重置时间点到期。

司法辖区特例与标识符规范化:

前导零:英格兰和威尔士的公司拥有 8 位数字标识符。通过未加引号的 CSV 管道导出记录时,前导零经常被剥离(例如 08912345 被截断为 8912345)。规范化器会自动为数字字符串左侧补零,以确保查询有效。

下放辖区前缀:苏格兰注册实体使用 SC 前缀(例如 SC123456),北爱尔兰实体使用 NI,有限责任合伙企业使用 OC。匹配器在执行精确或模糊字符串查询之前会先解析这些法定前缀。

模糊匹配阈值:自由文本形式的供应商名称会先经过清洗(去除标点符号、公司后缀如“LTD”、“LIMITED”、“PLC”以及空白异常),然后运行 Levenshtein 距离评分。CRN 精确匹配的置信度评分为 1.0,而模糊候选匹配则需要置信度 $\ge 0.85$ 才会附加企业情报。

输出格式与数据规格

输出以两种格式提供:

列名 类型 描述 示例值 1 ocid String 开放合同数据标准标识符 ocds-h6vhtk-045e7f-d8e2f9a1 2 source_platform String 来源采购平台 find_a_tender 3 notice_type String 公告生命周期类别 award 4 status String 采购状态 complete 5 published_date String 公告发布日期,ISO 8601 UTC 格式 2026-11-10T14:30:00Z 6 deadline_date String 提交截止日期;若为授标公告则为空 2026-12-15T12:00:00Z 7 title String 公告法定标题 Cloud Infrastructure Migration 8 description String 采购范围摘要 Statutory cloud migration contract. 9 buyer_name String 签约机构名称 Department for Science, Innovation and Technology 10 buyer_id String 法定签约机构标识符 GB-GOVUK-DSIT 11 buyer_region String 买方所在地区 London 12 supplier_name String 中标供应商名称 Cloud Operations Limited 13 company_number String Companies House 注册号(8 位数字) 08912345 14 company_status String 公司法定状态 active 15 company_incorporation_date String 成立日期(YYYY-MM-DD) 2014-02-18 16 registered_postcode String 注册办公地址邮编 EC2A 4NE 17 sic_codes String 以分号分隔的行业分类代码 62020;62090 18 active_directors String 以分号分隔的董事名单及角色 SMITH, John (director);DAVIES, Sarah (director) 19 award_value_gbp Decimal 授标合同价值(英镑) 450000.00 20 tender_value_gbp Decimal 预估采购预算(英镑) 450000.00 21 currency String 标准化货币代码 GBP 22

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →