返回资讯中心
外部精选
软件工程
#开发者实时流

开发者提出用终端校正表解决 Unicode 字符宽度测量难题

来源标题:Perfecting Terminal Character Width Using Correction Tables

终端 Unicode 字符宽度测量长期难以统一,各终端对 emoji、字素簇等宽度的解读存在分歧。作者在维护 Python wcwidth 与 ucs-detect 库 12 年和 6 年后指出,仅靠规范、实现和合规报告无法解决该问题,按终端维护校正表可实现接近完美的准确率。

Hacker News 最新birdculture2026/11/20 · 今天21 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

测量终端 Unicode 宽度一直是个难题。按终端区分的修正表让接近完美的精度成为可能。

过去几年里,我发布了 Python wcwidth 的规范,Kovid Goyal 则发布了《The algorithm for splitting text into cells》,作为 Kitty Text Sizing 协议的一部分。终端模拟器作者们在一个问题上达成的共识是「各持己见」:从 emoji 到底该不该支持这种宏观解释,一直到单个码点、类别和字素宽度的细枝末节。我们仍在等待 Unicode 终端工作组的 Fraser Gordon 发布标准。

在改进 Python wcwidth 和 ucs-detect 这两个库 12 年和 6 年之后,我认为「终端 Unicode 宽度」这个问题,光靠清晰的规范、实现和合规性报告是解决不了的。

DEC Private Mode 2027(Grapheme Clustering,2021)的设计,只是一个二元指示器,表示终端是否声称支持字素簇。Hashimoto 的《Grapheme Clusters and Terminal Emulators》(2023)用一个带 ZWJ 的 emoji 例子把这个模式讲得很清楚。

但字素支持并不是终端宽度测量的二元指示器。用 ucs-detect,我测到:

Linux 截图:不支持 Mode 2027 的 XTerm、Gnome、Konsole 和 Rio

在启用了 mode 2027 的终端之间,仍然存在一些差异,不过比较轻微:

Linux 截图:启用了 Mode 2027 的 Ghostty、foot、WezTerm 和 Contour

Unicode 的特性支持和版本支持水平很可能随时间不断扩大和分化。ucs-detect 的结果表明,任何专门的「有或没有」字素宽度函数都不合理。我的答案是 wcstwidth(),它针对当前使用的终端来修正宽度测量。

今年我最重要的工作就是新的 wcstwidth() 函数。它是 Python wcwidth 库中 wcswidth() 函数的变体,根据调用它的终端软件来提供修正后的宽度测量。

这要归功于 ucs-detect:它在约 35 个终端上报告了每一处偏离 wcwidth 规范的测量结果;wcstwidth() 以「修正表」的形式利用这些数据,返回「修正后」的测量值:

在 movwin 中:我(未发表的)TUI 框架 movq 写道

挑战接受:我提议它可以做到完美!

针对尺寸问题的另一个通用解决方案是 Kitty Text Sizing Protocol(KTSP)。用 KTSP 序列把文本包起来,就能可靠地呈现超过 2 个单元格宽度的字素:

截图:Python blessed 库的 text_sized() 方法,用 Kitty Text Sizing Protocol 为一个很宽的 Virama 修正出宽度 4。

用 KTSP 修正复杂文字的这种技术,在《Rendering complex scripts in terminal and OSC 66》(Thottingal,2026)中有更详细的论述。

对于终端中一般的文本尺寸问题,这是个很好的解决方案;我希望它被集成到更多 TUI 应用中,作为解决更多 REPL、文本编辑器和终端里 emoji/字素宽度通用问题的方案。

我已经把它集成到我自己的公开项目里:在 blessed 库中新增 does_text_sizing() 和 text_sized(),用于检测和构造 KTSP 序列;更新 wcwidth 库的 width() 函数,使其能测量包含 KTSP 序列的文本宽度,从而与 center()、ljust()、rjust() 以及高层函数 wrap() 和 clip() 对齐。

我还修改了 ucs-detect,在支持 KTSP 时把 Unicode 类别的评分报告为 '100'(完美)。

blessed 演示脚本 scroller.py,使用 text sizing 协议展示经典的 demoscene 滚动效果

有一个缺点:我们只能为能够被识别出来的终端提供修正。对于具有唯一 TERM 环境变量值的终端——alacritty、contour、foot、rio、rxvt、screen、st、tmux、ghostty 和 kitty——这相当可靠,因为 TERM 几乎能通过所有协议(SSH、Telnet,甚至 rlogin)转发,不过串口之类的连接不会转发 TERM。

TERM_PROGRAM 环境变量可以唯一标识 Apple Terminal、Hyper、iTerm.app、mintty、Tabby、terminology、vscode(xterm.js)、WarpTerminal 和 WezTerm。但是,如果不配置 ssh_config(5) 的 SendEnv 和 sshd_config(5) 的 AcceptEnv,TERM_PROGRAM 不会通过 SSH 转发,因此对远程连接不可靠。

在任何协议下识别终端最可靠的方法,是查询 XTVERSION('\x1b[>q'),有 21 个终端支持它。PuTTY、Extraterm 和 rxvt 仍会对较老的 ENQ('\05')作出自动的「answerback」响应。ENQ 序列正是你在不小心显示二进制数据后,shell 提示符里莫名插入 PuTTYPuTTYPuTTYPuTTY 的原因。

还有一种快速识别终端的方法:用 Cursor Position Report 序列查询终端,同时对已知的 Unicode 测量怪癖做二分查找。

终端复用器(multiplexer)不提供修正表,原因和我把它们排除在个人工作流之外一样:它们的结果随宿主终端而不一致,而且经常搞乱自己的光标位置。

ucs-detect 用 ghostty 作为「宿主终端」来测试这些复用器,但它们显示的宽度和光标位置会随宿主终端而变化,光标位置报告的自动回复也可能与实际位置对不上。这个问题在其损坏方式和光标定位的复杂性中会进一步叠加。

对齐问题在终端复用器上会叠加。Zellij 的光标位置模型报告宽度为 1,而 ghostty 正确显示宽度为 2。注意 zellij 在同一行的窗口边框出现了错乱。

Python 的 wcswidth() 函数偏离了 POSIX wcswidth(3) 的定义:

现有的 wcswidth() 接口天然适合按码点序列来测量

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →