返回资讯中心
外部精选
软件工程
#开发者实时流

Mojibake 库发布 v0.8,新增 Rust 和 Elixir 支持

来源标题:Mojibake library v0.8, added Rust and Elixir support

Mojibake 库 v0.8 发布,C/C++/WASM API 已稳定,未来不会再变;Rust 和 Elixir 支持现已成熟可用。作者表示,C 语言便于其他语言调用导出函数,因此选择为多语言提供支持。

Hacker News 最新program2026/11/18 · 今天25 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

Mojibake 库 v0.8 发布,新增 Rust 和 Elixir 支持,并稳定了 C/C++/WASM API,后续不再变动。Rust 和 Elixir 支持现已成熟可用。

既然 Rust 和 Elixir(以及 C++)已经有非常好的 Unicode 支持,为什么还要新增一个 Unicode 库?简要说明如下:

C 语言最大的优点在于,从其他语言/框架调用其导出的函数“很容易”。这就是我决定支持多语言的原因。来看看这些框架/语言提供了什么。

C++ 是 C 的扩展,但 C 并不是 C++ 的子集。大多数普通 C 代码可以作为 C++ 编译,但 Mojibake 就没那么容易了。C++ 不喜欢位置不当的指针、隐式转换、指定初始化器以及隐式函数声明(等等诸多问题)。

我很幸运,因为几个月(几年?)前我在 Makefile 里加了一个 make test-cpp,用来尝试以 C++ 编译项目。这帮我修复了一长串警告/错误。

无法使用的是 Attractor 库,它用到了 C11 的 _Generic 特性。我需要添加一个 C++ 专用的函数,这并不理想,但迫不得已。我创建了一个 C++ 专用的断言。

template <typename T1, typename T2>
inline unsigned int att_assert_cpp(
 T1 result,
 T2 expected,
 att_op op,
 const char *description,
 const char *file,
 unsigned int line) {}

这很有意思,因为它帮助我跟上了 C++ 的最新进展。

C++ 封装非常简单。一个规范化的示例:

// "Cafe" + U+0301 COMBINING ACUTE ACCENT
std::string input = "Cafe\xCC\x81";
// Text now is "Caf\xC3\xA9"
std::string text = mjb::nfc(input);

mjb::nfc 或 mjb::normalize 函数会调用 C 函数 mjb_normalize_into。C++ API 请参见 README.md。

用 Emscripten 编译项目也非常简单;只需零星的几处修改即可编译通过,而且它还提供了 __EMSCRIPTEN__ 宏,用于检测是否在 WASM 环境下工作。

Mojibake 模块需要的仅仅是定位编译好的 mojibake.wasm 文件。在 Emscripten 生成的 WASM 模块中,你可以用多种方式调用 C 函数。假设有一个将两个整数相加的函数 add()。

extern "C" {
int add(int a, int b) {
 return a + b;

从 JavaScript 中:

// This runs the function.
Module.ccall(
 'add',
 'number',
 ['number', 'number'],
 [10, 20]
); // 30
// This lets you run it multiple times.
const add = Module.cwrap(
 'add',
 'number',
 ['number', 'number']
);
console.log(add(10, 20)); // 30

这对我来说还不够,因为我有一个庞大的 API,会产生大量噪音。幸运的是,Emscripten 允许你“导出”想要的函数。参见 CMakeLists.txt 文件中的 EXPORTED_FUNCTIONS 以及自动生成的、包含所有导出函数的 MojibakeWasmModule。这样你就可以做到下面这样;例如使用 mjb_is_rgi_emoji:

isRGIEmoji(input: MojibakeInput, options: TextInputOptions = {}): boolean {
 const wasmInput = this.copyInput(input, options.encoding);
 const textPtr = this.copyText(wasmInput);
 try {
 // The exported function can now be called.
 return this.module._mjb_is_rgi_emoji(textPtr) ?
 true : false;
 } finally {
 this.free(wasmInput.ptr);
 this.free(textPtr);

JavaScript 代码调用 _mjb_is_rgi_emoji 函数。名字前面加了一个下划线,以免污染 Emscripten 的命名空间。

在 WASM 中使用时需要考虑的重要一点:JavaScript 默认使用 UTF-16 表示字符串。请确保在选项中传入 UTF_16,如果你想用 UTF-8,JavaScript 提供了 TextEncoder.encode() API。但通常这不是个好主意。Mojibake 支持 UTF-8、UTF-16 和 UTF-32。

const mojibake = await Mojibake.create({
 locateFile: (path, prefix) => `${prefix}${path}`
});
// ☺️: true.
mojibake.isRGIEmoji('\u263A\uFE0F');

我还需要修改 mjb_for_each_codepoint 函数。该函数会为字符串的每个码点调用一次回调。

bool next_character(
 const mjb_character *character,
 mjb_character_position position,
 void *context) {}

你不能把 JavaScript 函数传给 C 函数,或者更准确地说,你可以从 C/C++ 调用 JavaScript 代码,但那样太慢了。这就是我添加 _mjbForEachCodepointCallback 函数的原因。

EM_ASM_INT(
 { return _mjbForEachCodepointCallback($0, $1, $2); }, &character,
 first_character ? MJB_POSITION_FIRST : MJB_POSITION_NONE, context
);

从 JavaScript 中:

forEachCodepoint(input: MojibakeInput, options: TextInputOptions = {}): NextCharacter[] | null {
 const previousCallback = (globalThis as any)._mjbForEachCodepointCallback;
 // ...
 // We set the _mjbForEachCodepointCallback function on the global object, when needed.
 (globalThis as any)._mjbForEachCodepointCallback =
 (character: Pointer, type: number) => {
 // ...
 return true;
 };
 try {
 this.module._mjb_for_each_codepoint(...);
 // ...
 } finally {
 if(previousCallback === undefined) {
 // We delete it.
 delete (globalThis as any)._mjbForEachCodepointCallback;
 } else {
 // We restore the previous callback.
 (globalThis as any)._mjbForEachCodepointCallback = previousCallback;
 // ...

这可能不是最佳方案,但对我们来说足够了。

Rust 也能轻松调用 C 函数,这就是 FFI(外部函数接口)。我选择做一个低级的“sys”库来存放原始 FFI 绑定,再做一个“安全”的库。

let mut build = cc::Build::new();
build
 .files(&sources)
 .file(&shim)
 .include(&src)
 .warnings(false);
if build.get_compiler().is_like_msvc() {
 build.flag("/std:c11");
} else {
 build.flag("-std=c11");
for (cargo_feature, define) in FEATURES {
 let enabled = env::var_os(cargo_feature).is_some();
 build.define(define, if enabled { "1" } else { "0" });
build.compile("mojibake");

重要事项:

#[must_use]
pub fn mjb_normalization_quick_check(
 text: *const mjb_text,
 form: mjb_normalization,
 quick_check: *mut mjb_quick_check_result,
) -> mjb_status;

在安全库中,我们改为声明一个调用它的 Rust 函数:

pub fn quick_check(self, s: &str) -> Result<QuickCheck> {

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →