
Julia 纯 Julia 实现 BLAS 和 LAPACK,不依赖 Fortran、C 或汇编
来源标题:A BLAS and LAPACK written in Julia. No Fortran, no C, no assembly
PureBLAS 用纯 Julia 重写了 BLAS 和 LAPACK,不含 Fortran、C 或汇编代码,可在 Julia 内替代 OpenBLAS 或 MKL,还能编译成共享库供 C、C++、Rust 链接。它在加载时读取缓存大小、向量宽度和寄存器数量来自动计算分块大小,而非依赖针对特定 CPU 预编译的手写内核;整个项目约 3.6 万行代码,OpenBLAS 仅 x86 内核就有数十万行。代码是普通 Julia,可阅读、调试和修改。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
用Julia编写的BLAS和LAPACK,完全不使用Fortran、C或汇编。
它取代了Julia内部的OpenBLAS或MKL,同时也能编译成共享库,供C、C++或Rust链接——因此同一套内核可以同时服务两个世界。它是Pure Julia Ecosystem的一部分,该生态是一组纯Julia实现,用来替代Julia默认的非Julia库(姊妹项目:PureFFT.jl)。
OpenBLAS和AOCL发布的是为每种微架构手写、并在编译这些库时固化进去的内核。把它们放到没人跑过基准测试的CPU上,它们只能靠猜。PureBLAS在加载时读取缓存大小、向量宽度和寄存器数量,并据此计算出分块大小。它适应机器,而不是识别机器。
这也是为什么它大约只有36k行代码,而仅OpenBLAS中的x86内核就有几十万行——一个通用内核完成了一整张手写内核表的工作。
而且它全是普通的Julia代码,所以你可以阅读它、在调试器中单步执行它,并修改它。分块大小是一个你可以跟随的公式,而不是某人曾经测量出的一个数字。
直接调用
using PureBLAS
x = randn(1000); y = randn(1000)
PureBLAS.axpy!(y, 2.0, x) # y .+= 2.0 .* x
PureBLAS.nrm2(x) # Euclidean norm, overflow-safe
A = randn(256, 256); B = randn(256, 256); C = zeros(256, 256)
PureBLAS.gemm!(C, A, B) # C = A·B
PureBLAS.potrf!(A*A' + 256I; uplo='L') # Cholesky, in place
这些是普通的Julia函数,所以中间没有ccall边界。
一次调用,LinearAlgebra发送给BLAS或LAPACK的所有内容都会改道发往PureBLAS。无需修改代码。
using PureBLAS, LinearAlgebra
PureBLAS.activate()
C = randn(512, 512) |> A -> A * A' # gemm → PureBLAS
cholesky(C) # potrf → PureBLAS
svd(C) # gesdd → PureBLAS
PureBLAS.deactivate() # back to OpenBLAS
activate()在运行中的进程里向libblastrampoline注册函数指针,因此无需构建或加载任何东西。这条路径经过C ABI,所以Dual数无法通过它——如果你需要求导,请直接调用PureBLAS.*,并先阅读下面的章节。
Julia能调用的每一个LAPACK符号都会发往PureBLAS——不仅是那些主要的分解,还包括特征值求解器、Schur重排序、广义SVD、像gesvx这样的专家驱动,以及带状和打包例程。有一项测试会遍历标准库包装的每一个符号,如果其中任何一个仍然落在OpenBLAS上就会失败。
在速度方面,标准是max(OpenBLAS, AOCL-BLIS),所以击败其中一个而输给另一个也算作失败。在锁定频率的Zen3、Zen4和Zen5机器上,单线程下大约87%的基准测试单元达标。未达标的列在Performance Notes中,其中大多数差距在几个百分点以内。
BLAS 1–3级适用于任意T<:Number,因此Float32、Float64和复数都覆盖了。在分解方面,Cholesky、LU、QR和SVD奇异值接受任意实数元素类型;奇异向量仅支持Float64和复数。
前向模式可用。这些内核是通用的,所以ForwardDiff.Dual可以直接穿过它们,测试套件会针对已知导数对gemm、gemv、ger、trmm、trsm、trmv、trsv、symv、nrm2、asum、dot和potrf求导。
不过它很慢。SIMD内核只对Float32和Float64生效,而Dual两者都不是,所以它会回退到普通的标量循环。你能得到正确答案,但速度远不及BLAS。反向模式目前完全不可用——还没有ChainRules或Enzyme规则。
我们希望达到的终点是能以完整BLAS速度运行的微分,而实现它的方式是反向模式规则,而不是把Dual数推过内核。一个rrule可以以全速调用普通的Float64内核,并把伴随写成另外几次BLAS调用,这些调用也是全速的——任何地方都不需要逐元素微分。这就是内核是编译器能看进去的Julia代码而非不透明ccall所带来的回报,也是这个项目一开始就关心AD的原因。
这些还都没有写。它是ROADMAP.md中的里程碑M6。让LU、QR和SVD适用于任意实数元素类型是基础工作。
我们有意瞄准而非附带产生的一件事:一个用Julia编写、任何语言都能使用的BLAS。一个C程序、一个Rust crate或一个Python扩展链接libpureblas.so的方式与链接OpenBLAS完全相同,而且完全不必关心它是什么写的。
julia juliac/build.jl # builds libpureblas.so
它导出通常的ILP64 BLAS符号并启动自己的嵌入式运行时,因此非Julia程序可以把它用作BLAS后端。CI在每次推送时构建它,然后从C调用它,因为一个能编译但实际上不能工作的库否则就会蒙混过关。参见juliac/ctest.c。
它今天能构建也能工作,但juliac --trim是实验性的,所以这只能说有前景,而不是可以投入生产的东西。相同的@ccallable符号同时服务于共享库和上面的进程内改道,这让C入口点保持被使用,而不是悄悄腐烂。
不要把此.so加载到正在运行的Julia进程中。它嵌入了自己的libjulia,会导致双重初始化并中止。在Julia内部,请改用PureBLAS.activate()——它完全不需要共享库。
目前一切都是单线程的;多线程被有意搁置。
奇异向量仅支持Float64和复数。向通用路径请求向量时,它会抛出错误,而不是悄悄返回少于你所要求的内容。
少数大n三角和rank-k单元落后AOCL几个百分点。这是LLVM生成代码与手写汇编之间的差距,要妥善弥补就意味着编写汇编。
julia --project=. -e 'using Pkg; Pkg.instantiate()'
julia --project=. -e 'using Pkg; Pkg.test()'
julia --project=. -e 'using Pkg; Pkg.test(test_args=["Aqua"])' # one item
测试套件在所有类型、大小和步长上对照OpenBLAS检查结果,对原生实现求导
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。