LLM发展关键术语：从"单词卡片"到"思维网络"

一、基础构建模块

1. 标量（Scalar）

• 形象比喻：一个单独的数字，比如你的体重 65 kg，或者温度 23°C。
• 数学概念？ ✅ 是。标量是只有大小、没有方向的量。
• LLM/编程中？ ✅ 也常用。例如神经网络中的某个权重值就是一个标量。

2. 向量（Vector）

• 形象比喻：一列有序的数字，比如你每天走的步数 [8000, 9500, 7200]，或者空间中的箭头（有方向和长度）。
• 数学概念？ ✅ 是。向量既有大小又有方向，通常表示为一维数组。
• LLM/编程中？ ✅ 非常常见。词嵌入（word embedding）就是把一个词变成一个向量，比如 “猫” → [0.2, -1.3, 0.8, …]。

3. 矩阵（Matrix）

• 形象比喻：一张表格，比如学生成绩表：

  数学	英语	物理
  90	85	88
  78	92	80

• 数学概念？ ✅ 是。矩阵是二维的数字排列，用于线性代数运算。

• LLM/编程中？ ✅ 常见。比如注意力机制中的 Q、K、V 矩阵，或者图像数据（灰度图就是一个矩阵）。

4. 张量（Tensor）

• 形象比喻：
  • 标量是 0 维张量（一个点），
  • 向量是 1 维张量（一条线），
  • 矩阵是 2 维张量（一张纸），
  • 3 维张量就像一本书（多页矩阵叠起来），
  • 更高维张量就像多个这样的“书堆”再堆叠起来。
• 数学概念？ ✅ 是（但更广义）。在数学/物理中，张量是一种满足特定变换规则的多维对象（比如应力张量、电磁场张量）。
• LLM/编程中？ ✅✅ 非常核心！在深度学习框架（如 PyTorch、TensorFlow）中，“张量”泛指任意维度的数组。所以这里的“张量”其实是多维数组的同义词，比数学中的定义更宽泛、更工程化。

5. 数组（Array）

• 形象比喻：编程里的“容器”，可以装数字、字符等。比如 [1, 2, 3] 或 [[1,2],[3,4]]。
• 数学概念？ ❌ 不完全是。传统数学中不常用“数组”这个词，更多用“向量”“矩阵”等。
• LLM/编程中？ ✅✅ 是基础数据结构。NumPy 数组、Python 列表本质上都是数组。在 LLM 中，输入文本被转换成“整数数组”（token IDs），再变成“嵌入向量数组”。

总结对比表