2. 预备知识

要学习深度学习，首先需要先掌握一些基本技能。所有机器学习方法都涉及从数据中提取信息。因此，我们先学习一些关于数据的实用技能，包括存储、操作和预处理数据。

2.1. 数据操作

首先，我们介绍$n$维数组，也称为张量（tensor）。使用过Python中NumPy计算包的读者会对本部分很熟悉。无论使用哪个深度学习框架，它的张量类（在MXNet中为ndarray，在PyTorch和TensorFlow中为Tensor）都与Numpy的ndarray类似。但深度学习框架又比Numpy的ndarray多一些重要功能：首先，GPU很好地支持加速计算，而NumPy仅支持CPU计算；其次，张量类支持自动微分。这些功能使得张量类更适合深度学习。

2.1.1. 入门

如果你已经具有相关经验，想要深入学习数学内容，可以跳过本节。

张量表示由一个数值组成的数组，这个数组可能有多个维度。具有一个轴的张量对应数学上的向量（vector）；具有两个轴的张量对应数学上的矩阵（matrix）；具有两个轴以上的张量没有特殊的数学名称。

我们可以使用 arange 创建一个行向量 x。这个行向量包含以0开始的前12个整数，它们默认创建为整数。也可指定创建类型为浮点数。张量中的每个值都称为张量的元素（element）。

# 1.
x = torch.arange(12)
x 
'''
tensor([ 0,  1,  2,  3,  4,  5,  6,  7,  8,  9, 10, 11])
'''

要想改变一个张量的形状而不改变元素数量和元素值，可以调用reshape函数。例如，可以把张量x从形状为（12,）的行向量转换为形状为（3,4）的矩阵。

# 2.
X = x.reshape(3, 4)
X
'''
tensor([[ 0,  1,  2,  3],
        [ 4,  5,  6,  7],
        [ 8,  9, 10, 11]])
'''

我们可以创建一个形状为（2,3,4）的张量，其中所有元素都设置为0。同样，我们可以创建一个形状为(2,3,4)的张量，其中所有元素都设置为1。

# 3.
torch.zeros((2, 3, 4))
torch.ones((2, 3, 4))

'''
tensor([[[0., 0., 0., 0.],
         [0., 0., 0., 0.],
         [0., 0., 0., 0.]],

        [[0., 0., 0., 0.],
         [0., 0., 0., 0.],
         [0., 0., 0., 0.]]])

tensor([[[1., 1., 1., 1.],
         [1., 1., 1., 1.],
         [1., 1., 1., 1.]],

        [[1., 1., 1., 1.],
         [1., 1., 1., 1.],
         [1., 1., 1., 1.]]])
'''

以下代码创建一个形状为（3,4）的张量。其中的每个元素都从均值为0、标准差为1的标准高斯分布（正态分布）中随机采样。

# 4.
torch.randn(3, 4)

'''
tensor([[ 0.4315, -0.8804, -0.1730, -1.2925],
        [ 0.3317, -1.1386, -0.6625,  0.3001],
        [ 0.0371, -0.4246,  0.0326,  0.1565]])
'''

2.1.2. 运算符

我们想在这些数据上执行数学运算，其中最简单且最有用的操作是按元素（elementwise）运算。它们将标准标量运算符应用于数组的每个元素。

对于任意具有相同形状的张量，常见的标准算术运算符（+、-、*、/和**）都可以被升级为按元素运算。

x = torch.tensor([1.0, 2, 4, 8])
y = torch.tensor([2, 2, 2, 2])
x + y, x - y, x * y, x / y, x ** y  # **运算符是求幂运算

'''
(tensor([ 3.,  4.,  6., 10.]),
 tensor([-1.,  0.,  2.,  6.]),
 tensor([ 2.,  4.,  8., 16.]),
 tensor([0.5000, 1.0000, 2.0000, 4.0000]),
 tensor([ 1.,  4., 16., 64.]))
 '''

“按元素”方式可以应用更多的计算，包括像求幂这样的一元运算符。

torch.exp(x)

'''
tensor([2.7183e+00, 7.3891e+00, 5.4598e+01, 2.9810e+03])
'''

我们也可以把多个张量连结（concatenate）在一起，把它们端对端地叠起来形成一个更大的张量。我们只需要提供张量列表，并给出沿哪个轴连结。

X = torch.arange(12, dtype=torch.float32).reshape((3,4))
Y = torch.tensor([[2.0, 1, 4, 3], [1, 2, 3, 4], [4, 3, 2, 1]])
torch.cat((X, Y), dim=0), torch.cat((X, Y), dim=1)

# （轴-0，形状的第一个元素） 和按列（轴-1，形状的第二个元素）
'''
(tensor([[ 0.,  1.,  2.,  3.],
         [ 4.,  5.,  6.,  7.],
         [ 8.,  9., 10., 11.],
         [ 2.,  1.,  4.,  3.],
         [ 1.,  2.,  3.,  4.],
         [ 4.,  3.,  2.,  1.]]),
 tensor([[ 0.,  1.,  2.,  3.,  2.,  1.,  4.,  3.],
         [ 4.,  5.,  6.,  7.,  1.,  2.,  3.,  4.],
         [ 8.,  9., 10., 11.,  4.,  3.,  2.,  1.]]))
'''

有时，我们想通过逻辑运算符构建二元张量。以X == Y为例：对于每个位置，如果X和Y在该位置相等，则新张量中相应项的值为1。这意味着逻辑语句X == Y在该位置处为真，否则该位置为0。

X == Y

'''
tensor([[False,  True, False,  True],
        [False, False, False, False],
        [False, False, False, False]])
'''

对张量中的所有元素进行求和，会产生一个单元素张量。

X.sum()

'''
tensor(66.)
'''

2.1.3. 广播机制

在某些情况下，即使形状不同，我们仍然可以通过调用 广播机制（broadcasting mechanism）来执行按元素操作。种机制的工作方式如下：首先，通过适当复制元素来扩展一个或两个数组，以便在转换之后，两个张量具有相同的形状。其次，对生成的数组执行按元素操作。

a = torch.arange(3).reshape((3, 1))
b = torch.arange(2).reshape((1, 2))
a, b
'''
(tensor([[0],
         [1],
         [2]]),
 tensor([[0, 1]]))
'''

a + b
'''
tensor([[0, 1],
        [1, 2],
        [2, 3]])
'''

2.1.4. 索引和切片

就像在任何其他Python数组中一样，张量中的元素可以通过索引访问。与任何Python数组一样：第一个元素的索引是0，最后一个元素索引是-1；可以指定范围以包含第一个元素和最后一个之前的元素。

如下所示，我们可以用[-1]选择最后一个元素，可以用[1:3]选择第二个和第三个元素：

X
'''
tensor([[ 0.,  1.,  2.,  3.],
        [ 4.,  5.,  6.,  7.],
        [ 8.,  9., 10., 11.]])
'''

X[-1], X[1:3]
'''
(tensor([ 8.,  9., 10., 11.]),
 tensor([[ 4.,  5.,  6.,  7.],
         [ 8.,  9., 10., 11.]]))
'''

X[0:2, :] = 12
X
'''
tensor([[12., 12., 12., 12.],
        [12., 12., 12., 12.],
        [ 8.,  9., 10., 11.]])
'''

2.1.5. 节省内存

运行一些操作可能会导致为新结果分配内存。例如，如果我们用Y = X + Y，我们将取消引用Y指向的张量，而是指向新分配的内存处的张量。

在下面的例子中，我们用Python的id()函数演示了这一点，它给我们提供了内存中引用对象的确切地址。

before = id(Y)
Y = Y + X
id(Y) == before

'''
False
'''

幸运的是，执行原地操作非常简单。我们可以使用切片表示法将操作的结果分配给先前分配的数组，例如Y[:] = <expression>。

Z = torch.zeros_like(Y)
print('id(Z):', id(Z))
Z[:] = X + Y
print('id(Z):', id(Z))

'''
id(Z): 140116336758272
id(Z): 140116336758272
'''

2.1.6. 转换为其他Python对象

将深度学习框架定义的张量转换为NumPy张量（ndarray）很容易，反之也同样容易。 torch张量和numpy数组将共享它们的底层内存，就地操作更改一个张量也会同时更改另一个张量。

A = X.numpy()
B = torch.tensor(A)
type(A), type(B)

'''
(numpy.ndarray, torch.Tensor)
'''

要将大小为1的张量转换为Python标量，我们可以调用item函数或Python的内置函数。

a = torch.tensor([3.5])
a, a.item(), float(a), int(a)

'''
(tensor([3.5000]), 3.5, 3.5, 3)
'''

2.1.7. 小结

深度学习存储和操作数据的主要接口是张量（nn维数组）。它提供了各种功能，包括基本数学运算、广播、索引、切片、内存节省和转换其他Python对象。

2.2. 数据预处理

2.2.1. 读取数据集

os.makedirs(os.path.join('..', 'data'), exist_ok=True)
data_file = os.path.join('..', 'data', 'house_tiny.csv')
with open(data_file, 'w') as f:
    f.write(...)
    ...

data = pd.read_csv(data_file)
print(data)

2.2.2. 处理缺失值

注意，“NaN”项代表缺失值。为了处理缺失的数据，典型的方法包括插值法和删除法，其中插值法用一个替代值弥补缺失值，而删除法则直接忽略缺失值。在这里，我们将考虑插值法。

1 2	`inputs, outputs = data.iloc[:, 0:2], data.iloc[:, 2] # data.iloc[] 获取index of ... inputs = inputs.fillna(inputs.mean()) # 插入平均值`

对于inputs中的类别值或离散值，我们将“NaN”视为一个类别。

inputs = pd.get_dummies(inputs, dummy_na=True)

''' BEFORE
   NumRooms Alley
0       3.0  Pave
1       2.0   NaN
2       4.0   NaN
3       3.0   NaN
'''

'''AFTER
   NumRooms  Alley_Pave  Alley_nan
0       3.0           1          0
1       2.0           0          1
2       4.0           0          1
3       3.0           0          1
'''

2.2.3. 转换为张量格式

现在inputs和outputs中的所有条目都是数值类型，它们可以转换为张量格式。

X, y = torch.tensor(inputs.values), torch.tensor(outputs.values)
X, y

'''
(tensor([[3., 1., 0.],
         [2., 0., 1.],
         [4., 0., 1.],
         [3., 0., 1.]], dtype=torch.float64),
 tensor([127500, 106000, 178100, 140000]))
'''

2.3. 线性代数

在你已经可以存储和操作数据后，让我们简要地回顾一下部分基本线性代数内容。

2.3.1. 标量

标量由只有一个元素的张量表示。

import torch

x = torch.tensor(3.0)
y = torch.tensor(2.0)

x + y, x * y, x / y, x**y

'''
(tensor(5.), tensor(6.), tensor(1.5000), tensor(9.))
'''

2.3.2. 向量

你可以将向量视为标量值组成的列表。我们将这些标量值称为向量的元素（element）或分量（component）。

我们通过一维张量处理向量。一般来说，张量可以具有任意长度，取决于机器的内存限制。

x = torch.arange(4)
x

'''
tensor([0, 1, 2, 3])
'''

我们可以使用下标来引用向量的任一元素。

x[3]

'''
tensor(3)
'''

2.3.2.1. 长度、维度和形状

向量只是一个数字数组，就像每个数组都有一个长度一样，每个向量也是如此。

向量的长度通常称为向量的维度（dimension）。

维度（dimension）向量或轴的维度被用来表示向量或轴的长度，即向量或轴的元素数量。

2.3.3. 矩阵

矩阵，我们通常用粗体、大写字母来表示（例如，X、Y和Z），在代码中表示为具有两个轴的张量。

当调用函数来实例化张量时，我们可以通过指定两个分量$m$和$n$来创建一个形状为$m×n$的矩阵。

A = torch.arange(20).reshape(5, 4)
A

'''
tensor([[ 0,  1,  2,  3],
        [ 4,  5,  6,  7],
        [ 8,  9, 10, 11],
        [12, 13, 14, 15],
        [16, 17, 18, 19]])
'''

当我们交换矩阵的行和列时，结果称为矩阵的转置（transpose）。我们用$a^T$来表示矩阵的转置，如果$B=A^T$，则对于任意ii和jj，都有$b_{ij}=a_{ji}$。

A.T

'''
tensor([[ 0,  4,  8, 12, 16],
        [ 1,  5,  9, 13, 17],
        [ 2,  6, 10, 14, 18],
        [ 3,  7, 11, 15, 19]])
'''

作为方阵的一种特殊类型，对称矩阵（symmetric matrix）$A$等于其转置：$A=A^T$。

B = torch.tensor([[1, 2, 3], [2, 0, 4], [3, 4, 5]])
B
'''
tensor([[1, 2, 3],
        [2, 0, 4],
        [3, 4, 5]])
'''

B == B.T
'''
tensor([[True, True, True],
        [True, True, True],
        [True, True, True]])
'''

2.3.4. 张量

张量（本小节中的“张量”指代数对象）为我们提供了描述具有任意数量轴的$n$维数组的通用方法。

张量用特殊字体的大写字母表示（例如，X、Y和Z），它们的索引机制（例如$x_{ijk}$和$[X]_{1,2i−1,3}$）与矩阵类似。

2.3.5. 张量算法的基本性质

给定具有相同形状的任意两个张量，任何按元素二元运算的结果都将是相同形状的张量。

A = torch.arange(20, dtype=torch.float32).reshape(5, 4)
B = A.clone()  # 通过分配新内存，将A的一个副本分配给B
A, A + B

'''
(tensor([[ 0.,  1.,  2.,  3.],
         [ 4.,  5.,  6.,  7.],
         [ 8.,  9., 10., 11.],
         [12., 13., 14., 15.],
         [16., 17., 18., 19.]]),
 tensor([[ 0.,  2.,  4.,  6.],
         [ 8., 10., 12., 14.],
         [16., 18., 20., 22.],
         [24., 26., 28., 30.],
         [32., 34., 36., 38.]]))
'''

两个矩阵的按元素乘法称为Hadamard积（Hadamard product）（数学符号$⊙$）。

A * B

'''
tensor([[  0.,   1.,   4.,   9.],
        [ 16.,  25.,  36.,  49.],
        [ 64.,  81., 100., 121.],
        [144., 169., 196., 225.],
        [256., 289., 324., 361.]])
'''

将张量乘以或加上一个标量不会改变张量的形状，其中张量的每个元素都将与标量相加或相乘。

a = 2
X = torch.arange(24).reshape(2, 3, 4)
a + X, (a * X).shape

'''
(tensor([[[ 2,  3,  4,  5],
          [ 6,  7,  8,  9],
          [10, 11, 12, 13]],

         [[14, 15, 16, 17],
          [18, 19, 20, 21],
          [22, 23, 24, 25]]]),
 torch.Size([2, 3, 4]))
'''

2.3.6. 降维

我们可以对任意张量进行的一个有用的操作是计算其元素的和。

我们可以表示任意形状张量的元素和。例如，矩阵$A$中元素的和可以记为$\sum^m_{i=1}\sum^n_{j=1}a_{ij}$。

A.shape, A.sum()

'''
(torch.Size([5, 4]), tensor(190.))
'''

默认情况下，调用求和函数会沿所有的轴降低张量的维度，使它变为一个标量。

我们还可以指定张量沿哪一个轴来通过求和降低维度。以矩阵为例，为了通过求和所有行的元素来降维（轴0），我们可以在调用函数时指定axis=0。

由于输入矩阵沿0轴降维以生成输出向量，因此输入轴0的维数在输出形状中消失。

A_sum_axis0 = A.sum(axis=0)
A_sum_axis0, A_sum_axis0.shape
'''
(tensor([40., 45., 50., 55.]), torch.Size([4]))
'''

A_sum_axis1 = A.sum(axis=1)
A_sum_axis1, A_sum_axis1.shape
'''
(tensor([ 6., 22., 38., 54., 70.]), torch.Size([5]))
'''

A.sum(axis=[0, 1])  # SameasA.sum()
'''
tensor(190.)
'''

一个与求和相关的量是平均值（mean或average）。

同样，计算平均值的函数也可以沿指定轴降低张量的维度。

A.mean(), A.sum() / A.numel()
# A.numel() = A: number of elements
'''
(tensor(9.5000), tensor(9.5000))
'''

A.mean(axis=0), A.sum(axis=0) / A.shape[0]
'''
(tensor([ 8.,  9., 10., 11.]), tensor([ 8.,  9., 10., 11.]))
'''

2.3.6.1. 非降维求和

有时在调用函数来计算总和或均值时保持轴数不变会很有用。

由于sum_A在对每行进行求和后仍保持两个轴，我们可以通过广播将A除以sum_A。

sum_A = A.sum(axis=1, keepdims=True)
sum_A
'''
tensor([[ 6.],
        [22.],
        [38.],
        [54.],
        [70.]])
'''

A / sum_A
'''
tensor([[0.0000, 0.1667, 0.3333, 0.5000],
        [0.1818, 0.2273, 0.2727, 0.3182],
        [0.2105, 0.2368, 0.2632, 0.2895],
        [0.2222, 0.2407, 0.2593, 0.2778],
        [0.2286, 0.2429, 0.2571, 0.2714]])
'''

如果我们想沿某个轴计算A元素的累积总和，比如axis=0（按行计算），我们可以调用cumsum函数。此函数不会沿任何轴降低输入张量的维度。

A.cumsum(axis=0)

'''
tensor([[ 0.,  1.,  2.,  3.],
        [ 4.,  6.,  8., 10.],
        [12., 15., 18., 21.],
        [24., 28., 32., 36.],
        [40., 45., 50., 55.]])
'''

2.3.7. 点积（Dot Product）

给定两个向量$x,y∈R^d$，它们的点积（dot product）$x^Ty$ （或$⟨x,y⟩$）是相同位置的按元素乘积的和：$x^Ty=\sum^d_{i=1}x_iy_i$。

y = torch.ones(4, dtype = torch.float32)
x, y, torch.dot(x, y)

'''
(tensor([0., 1., 2., 3.]), tensor([1., 1., 1., 1.]), tensor(6.))
'''

2.3.8. 矩阵-向量积（matrix-vector product）

我们为矩阵A和向量x调用torch.mv(A, x)时，会执行矩阵-向量积。注意，A的列维数（沿轴1的长度）必须与x的维数（其长度）相同。

A.shape, x.shape, torch.mv(A, x)

'''
(torch.Size([5, 4]), torch.Size([4]), tensor([ 14.,  38.,  62.,  86., 110.]))
'''

2.3.9. 矩阵-矩阵乘法（matrix-matrix multiplication）

矩阵-矩阵乘法可以简单地称为矩阵乘法，不应与“Hadamard积”混淆。

B = torch.ones(4, 3)
torch.mm(A, B)

'''
tensor([[ 6.,  6.,  6.],
        [22., 22., 22.],
        [38., 38., 38.],
        [54., 54., 54.],
        [70., 70., 70.]])
'''

2.3.10. 范数

线性代数中最有用的一些运算符是范数（norm）。非正式地说，一个向量的范数告诉我们一个向量有多大。这里考虑的大小（size）概念不涉及维度，而是分量的大小。

性质：

在线性代数中，向量范数是将向量映射到标量的函数ff。给定任意向量xx，向量范数要满足一些属性。第一个性质是：如果我们按常数因子αα缩放向量的所有元素，其范数也会按相同常数因子的绝对值缩放：

$$
f(\alpha x)=|\alpha |f(x).
$$
第二个性质是我们熟悉的三角不等式:
$$
f(x+y)≤f(x)+f(y).
$$
第三个性质简单地说范数必须是非负的:
$$
f(x)≥0.
$$
这是有道理的。因为在大多数情况下，任何东西的最小的大小是0。最后一个性质要求范数最小为0，当且仅当向量全由0组成。

$$
∀i,[x]i=0⇔f(x)=0.
$$

欧几里得距离是一个$L2$范数：假设$n$维向量$x$中的元素是$x1,…,xn$，其$L2$范数是向量元素平方和的平方根：
$$
||x|| _ 2 = \sqrt {∑_{i=1}^nx^2_i}
$$

其中，在$L2$范数中常常省略下标$2$，也就是说$‖x‖$等同于$‖x‖2$。

u = torch.tensor([3.0, -4.0])
torch.norm(u)

'''
tensor(5.)
'''

$L1$范数，它表示为向量元素的绝对值之和：
$$
||x|| _ 1 = ∑_{i=1}^n|x_i|.
$$
与$L2$范数相比，$L1$范数受异常值的影响较小。

torch.abs(u).sum() # Same as below
torch.norm(u, 1)

'''
tensor(7.)
'''

$L2$范数和$L1$范数都是更一般的$L_p$范数的特例：
$$
|| x || _ p=(∑_{i=1}^n|x_i|^p)^{1/p}.
$$
类似于向量的$L2$范数，矩阵$X∈R^{m×n}$的Frobenius范数（Frobenius norm）是矩阵元素平方和的平方根：

$$
\left | X\right | _ F = \sqrt{∑_{i=1}^m∑_{j=1}^nx^2_{ij}}
$$

Frobenius范数满足向量范数的所有性质，它就像是矩阵形向量的L2L2范数。调用以下函数将计算矩阵的Frobenius范数。

torch.norm(torch.ones((4, 9)))

'''
tensor(6.)
'''

2.3.10.1. 范数和目标

在深度学习中，我们经常试图解决优化问题： 最大化分配给观测数据的概率; 最小化预测和真实观测之间的距离。用向量表示物品（如单词、产品或新闻文章），以便最小化相似项目之间的距离，最大化不同项目之间的距离。

目标，或许是深度学习算法最重要的组成部分（除了数据），通常被表达为范数。

2.3.11. 关于线性代数的更多信息

可以参考线性代数运算的在线附录或其他优秀资源 [Strang, 1993][Kolter, 2008][Petersen et al., 2008]。

2.3.12. 小结

标量、向量、矩阵和张量是线性代数中的基本数学对象。
向量泛化自标量，矩阵泛化自向量。
标量、向量、矩阵和张量分别具有零、一、二和任意数量的轴。
一个张量可以通过sum和mean沿指定的轴降低维度。
两个矩阵的按元素乘法被称为他们的Hadamard积。它与矩阵乘法不同。
在深度学习中，我们经常使用范数，如L1L1范数、L2L2范数和Frobenius范数。
我们可以对标量、向量、矩阵和张量执行各种操作。

《动手学深度学习》学习笔记

深度学习学习笔记

本博客所有文章除特别声明外，均采用 CC BY-SA 4.0 协议，转载请注明出处！
如果觉得文章内容不错，还请大力支持哦~

赞赏码

《动手学深度学习》学习笔记 Ch.2 - 预备知识（2.4-2.7）上一篇

《动手学深度学习》学习笔记 Ch.1 - 前言下一篇

《动手学深度学习》学习笔记 Ch.2 - 预备知识 （2.1-2.3）