
Kotensor:纯 Kotlin 实现的 Transformer 引擎,支持 JVM 与 Android
来源标题:Kotensor – Pure-Kotlin Transformer Engine for JVM and Android
Kotensor 是一个纯 Kotlin 编写的 Transformer 引擎,可在 JVM 和 Android 上训练、微调和运行语言模型,无需 C++、Python 或 JNI 依赖。它支持自动微分、KV 缓存解码、INT8/INT4 量化、BPE 分词、LoRA/QLoRA 微调,并可导入 Llama、Qwen 2、Mistral、SmolLM 等 Hugging Face 检查点。其运行时仅依赖 Kotlin 标准库,单个 JAR 可同时服务服务器、桌面和手机端。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
纯 Kotlin 打造的 Transformer 引擎,面向 JVM 与 Android,可在纯 Kotlin 中训练、微调并运行 Transformer 语言模型。支持自动微分、KV 缓存解码、INT8 / INT4 量化、BPE 分词、LoRA / QLoRA 以及 Hugging Face checkpoint 导入——不依赖 C++、Python 或 JNI。
Kotensor 是一个轻量级、纯 Kotlin 实现的机器学习与生成式 Transformer 引擎,面向 JVM 和 Android 应用。它使用反向模式自动微分训练模型,可加载预训练的 Hugging Face checkpoint(Llama、Qwen 2、Mistral、SmolLM)及其自带的分词器,通过 KV 缓存、无额外分配的解码器流式输出文本,将权重压缩到 INT8 或 INT4,并支持在设备端用 LoRA 微调——全部以原生 Kotlin 实现,不依赖外部 C++、Python 或 JNI。
Kotensor 用纯 Kotlin 实现了整套技术栈——张量、反向模式自动微分、优化器、现代 decoder-only Transformer、快速推理、量化、分词、LoRA 适配器以及 checkpoint 读写。它唯一的运行时依赖是 Kotlin 标准库(其余全部来自 JDK),因此无需附带 JNI、原生运行时或 Python 工具链,一个 JAR 即可同时服务服务器、桌面和手机。
版本 亮点 0.2.0 KV 缓存,支持 prefill/decode 生成与停止 token;面向 Hugging Face tokenizer.json 的字节级 BPE 分词器;增量式、UTF-8 安全的流式输出;旋转位置编码修正 0.3.0 分块、自动向量化、多线程 matmul(吞吐量是朴素循环的 10–175 倍,视形状而定);无额外分配的 decode 步骤;生成速度提升 3–4 倍 0.4.0 分组查询/多查询注意力;Llama 3 rope 缩放;流式 F16/BF16 .safetensors 读取器;Hugging Face config + 权重导入器 0.5.0 INT8 / INT4 分组量化,配合反量化 matmul;QLoRA;紧凑模型文件;惰性分配梯度 1.0.0 面向 Android 的 Java 17 构建;Compose 示例应用;Dokka 文档;Maven Central 发布;JMH 基准测试;CI 工作流 1.1.0 训练效率:使用 IGNORE_INDEX 的损失掩码;融合的输出投影 + 交叉熵;requiresGrad 冻结与提前反向终止;无需转置拷贝的 matmul 反向传播;可选的 JVM Vector API(SIMD)内核;按批次训练遥测 1.2.0 低内存推理:带缓冲的 prompt prefill,不构建计算图,且只为最后一个 token 计算输出层;noGrad;内存映射的量化模型文件(loadQuantized(file, memoryMapped = true));嵌入与输出头绑定,仅存储一次;并行注意力;重写的单行量化内核,在手机上快 2.8–4 倍,线程数可配置,并默认为每个 VM 使用 INT4;采样(temperature、top-k、top-p、重复惩罚);prompt 前缀复用(cachePrefix);支持 Android 7(API 24) CHANGELOG.md 说明了每项改动、为何需要以及如何验证。
什么是 Kotensor? 为什么选择 Kotensor 0.1.0 以来的新变化 安装 快速开始 使用指南 训练效率 Vector API(SIMD)后端 低内存推理 API 概览 当前限制 架构 从源码构建 测试 Android 示例 基准测试 API 文档 发布到 Maven Central 路线图 许可证 安装 要求:Java 17 或更高版本。该库编译为面向 Java 17 API 的 Java 17 字节码(使用 Java 21 工具链构建),其唯一运行时依赖是 Kotlin 标准库。
Android:API 24(Android 7.0)及更高版本。没有原生库,因此不存在 ABI 拆分;:sample-android 是一个基于它的可运行 Compose 应用。该 JAR 自带 R8 规则,因此压缩构建无需额外配置。对于超过几十 MB 的模型,请使用内存映射加载,这样其权重就不会计入应用的堆内存上限。
可选 SIMD:在 JDK 17+ 上,启动 JVM 时加上 --add-modules jdk.incubator.vector 以启用 Vector API 后端。
Kotensor 已发布到 Maven Central,坐标为 io.github.tspstudio:kotensor:1.2.0。API 参考见 tspstudio.github.io/kotensor。
repositories { mavenCentral() dependencies { implementation("io.github.tspstudio:kotensor:1.2.0") Maven <dependency> <groupId>io.github.tspstudio</groupId> <artifactId>kotensor</artifactId> <version>1.2.0</version> </dependency> Maven Local ./gradlew publishToMavenLocal # Windows: gradlew.bat publishToMavenLocal 然后在消费项目的 repositories 中添加 mavenLocal()。本地发布无需签名密钥。
cd Engine/kotensor ./gradlew jar # Windows: gradlew.bat jar
→ build/libs/kotensor-<version>.jar
dependencies { implementation(files("libs/kotensor-<version>.jar")) 所有公共类型都位于 io.kotensor.core 包中: import io.kotensor.core.* 快速开始 运行一个从 Hugging Face Hub 下载的预训练模型,加载时量化为 INT8: import io.kotensor.core.* import java.io.File fun main() { val directory = File("SmolLM2-135M") // config.json, model.safetensors, tokenizer.json val model = HuggingFaceModelLoader.load(directory, Quantization.INT8) val tokenizer = HuggingFaceModelLoader.loadTokenizer(directory) model.generateStream("The capital of Mexico is", tokenizer, maxTokens = 32, stopTokens = setOfNotNull(tokenizer.endOfTextId)) { piece -> print(piece) 或者从头训练一个微小的字符级语言模型,并用它生成文本: import io.kotensor.core.* fun main() { val text = "hello hello hello " val tokenizer = SimpleTokenizer(text) val model = Transformer( vocabularySize = tokenizer.vocabularySize, dimension = 16, numLayers = 1, numHeads = 2, ) val optimizer = AdamW(model.parameters(), learningRate = 0.05f) val encoded = tokenizer.encode(text) val inputs = encoded.sliceArray(0 until encoded.size - 1) val targets = encoded.sliceArray(1 until encoded.size) repeat(40) { val logits = model.forward(inputs) val loss = crossEntropyLoss(logits, targets) loss.backward() optimizer.step() optimizer.zeroGrad() println(model.generate("h", tokenizer, maxTokens = 5)) 使用指南 张量与自动微分
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。