Frederick Morlock 撰文探讨线性代数中被忽视的外积概念

发布于2025年10月28日，分类于 数学，作者Frederick Morlock。 走过我的白板，或者翻看我的笔记本，你常会看到画布上写满了基于外积的方程。但为什么我会对一个在线性代数课上几乎不值一提的概念如此着迷？在这篇文章中，我将向你介绍外积，并希望能说服你，它们值得的不只是一条脚注。 我无法评论其他人在大学里接受的线性代数教育，只能说说我自己的经历。然而，尽管我认为自己接受了不错的线性代数启蒙，但有一个主题缺失了：外积。 坦白说，在我阅读的（机器学习）研究中，我很少听到外积，也几乎不记得课堂上讲过 1。也许对其他人来说，外积也只是课上随口一提，或者存在一种无意中的研究偏见，削弱了它们的影响力。也有可能只是我脱节了，也许外积并不值得注意，或者用它们来构建问题是错误的方式。无论如何，从无知到痴迷的旅程确实改变了我。 尽管社会与内积这个奇怪的表亲关系（或缺乏关系），外积却越来越多地萦绕在我心头。随着我对它们的了解加深，并将它们的“对偶视角”融入更多分析中，它们日益成为我思考过程和围绕线性代数（以及由此延伸的深度学习）直觉的基本组成部分。 如今，我认为对于任何线性代数问题或定理，几乎总是值得考虑外积“对偶”的含义。也许，如果将来我有机会教授本科线性代数课程，我会设计课程让外积与内积处于同等地位。眼下，我只能通过这篇博客文章来说服你，为什么外积值得思考。 在介绍外积之前，让我先提醒你点积的基本定义——我有时会交替地称它为“内积” 2。 给定两个 n 维向量 $u, v \in \mathbb{R}^n$，$u$ 和 $v$ 之间的点积，记作 $u \cdot v$ 或 $\langle u , v\rangle$，定义为： 内积/点积有几个有用的性质，维基百科可以作为一个方便的参考，但现在重要的是引入范数的记号，它衡量向量的长度：$ \Vert u \Vert = \sqrt{\langle u , u \rangle}$。 作为一个例子，试图说服你这两个概念是等价的： 在二维平面上选取一点 $u = (x, y)$ 并想象它是一个三角形的斜边的情况下，通过如上定义的范数计算，我们恢复了勾股定理：$\Vert u \Vert = \sqrt{x^2 + y^2}$。 看待这个操作的一种方式，尽管可能不会立即完全清晰，是计算 $u$ 和 $v$ 之间的相似度。事实上，我们可以重新排列点积，表明它计算的是向量 $u$ 和 $v$ 之间（的缩放版本）的夹角： 一个简单的推论是，当 $u$ 和 $v$ 垂直（也称为“正交”；即 $\theta = 90 \degree$）时，$\langle u , v \rangle = 0$。 可能值得注意 n 维空间“轴”的平凡例子。在二维空间中，沿 x 轴的向量是 $\bm{x} = (x, y) = (1, 0)$，而 y 轴是 $\bm{y} = (x, y) = (0, 1)$。在三维中，我们有 $\bm{x} = (x, y, z) = (1, 0, 0)$、$\bm{y} = (x, y, z) = (0, 1, 0)$、$\bm{z} = (x, y, z) = (0, 0, 1)$。在两个维度（及更高维度）中，由向量定义的每个“轴”都相互正交——相隔 $90 \degree$——点积为 0。 矩阵乘法是点（内）积的推广。对于矩阵-向量乘积，你可以通过取向量与矩阵每一行的点积来计算结果——假设我们将向量表示为“列向量”。 通过在我们的“向量”中创建一个或多个列，将其扩展到矩阵-矩阵乘积是直观的——我们“向量”中每增加一个新列，输出矩阵就增加一个新列： 回顾上面定义的（向量）内积，我们看到可以将内积表示为矩阵乘法的特例！即，转置列向量（又称行向量）与列向量之间的矩阵乘法等价于向量点积： 外积是对两个向量之间内（点）积方程的小调整。不是将内积写成： 两个向量的外积定义为： 虽然将矩阵转置的位置移到 $y$ 上似乎是一个微不足道的小修改，但它具有深远的影响。一个直接的推论是：两个向量的外积产生一个矩阵输出。 遵循上面的模式，我们可以看到这一点在起作用： 关于外积有一些特别有趣的性质值得提及： 如果你忘了线性代数课上秩的定义，没关系。即使我“知道秩的定义”，直到我学习了外积才真正理解它。 维基百科对秩的定义很有用，但在直觉上并不完全有帮助： 矩阵 $A$ 的秩是由其列生成（或张成）的向量空间的维数。 尽管我省略了“两个向量的外积是秩一矩阵”这一事实的证明，但知道这个事实可以给我们一些关于“秩”含义的直觉。 让我们选择两个向量 $(u, v) \in \mathbb{R}^n$ 作为我们构造外积矩阵 $\mathbf{M}$ 的基础。 我们注意到的一件事是，将 $\mathbf{M}$ 乘以任何向量 $x$ 的结果是 $u$ 的标量倍数。也就是说，对于任何向量 $x$

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）