3、线性代数
1、矩阵转置 A[i,j]=A[j,i]
2、对称矩阵 ：A转置=A
[0,2,3]
[2 1 5]
[3,5,1]
3、三维矩阵 求和 axis=0 两个矩阵相加 axis=1 两个向量相加 ，axis=2 向量内部相加
keepdims=True 求和后维度保持不变
4、cumsum累加求和
5、torch.mm() 或 torch.bmm() 【矩阵乘法，前二维后三维，均不可广播】
torch.mm() 用于两个二维向量之间的矩阵乘法。如果 input1 是一个n×m张量，input2 是一个 m×p张量，将会输出一个 n×p 张量
>>> a = torch.ones(3,4)
>>> b = torch.ones(4,2)
>>> torch.mm(a, b) # torch.Size([3, 2])
tensor([[4., 4.],
[4., 4.],
[4., 4.]])
而 torch.bmm() 是用于两个三维张量之间的批次矩阵乘法（其中第0维为批次大小）。由于神经网络训练一般采用mini-batch，经常输入的是三维带batch矩阵。如果 input1 是一个 b×n×m 张量，input2 是一个 b×m×p 张量，将会输出一个 b×n×p 张量
>>> a = torch.ones(3,4,5)
>>> b = torch.ones(3,5,6)
>>> torch.bmm(a, b) # torch.Size([3, 4, 6])
tensor([[[5., 5., 5., 5., 5., 5.],
[5., 5., 5., 5., 5., 5.],
[5., 5., 5., 5., 5., 5.],
[5., 5., 5., 5., 5., 5.]],
[[5., 5., 5., 5., 5., 5.],
[5., 5., 5., 5., 5., 5.],
[5., 5., 5., 5., 5., 5.],
[5., 5., 5., 5., 5., 5.]],
[[5., 5., 5., 5., 5., 5.],
[5., 5., 5., 5., 5., 5.],
[5., 5., 5., 5., 5., 5.],
[5., 5., 5., 5., 5., 5.]]])
另外，这两个函数都无法广播
6、torch.mv()【矩阵-向量乘法，不可广播】
torch.mv(input, vec) 只支持矩阵和向量之间的乘法。如果 input 为 n×m，vec向量的长度为m，那么输出为 n×1的向量。不支持广播机制
In[1]: vec = torch.arange(4)
In[2]: mat = torch.arange(12).reshape(3,4)
In[3]: torch.mv(mat, vec)
Out[1]: tensor([14, 38, 62])
torch.dot()【仅支持两个一维向量点积】
只能支持两个一维向量，两向量相乘相加得到一个标量
与 np.dot() 不同，np.dot() 既能向量点积，又能矩阵乘法
a = torch.tensor([2,3])
b = torch.tensor([1,2])
c = torch.dot(a,b)
print('a:',a.shape) # a: torch.Size([2])
print('b:',b.shape) # b: torch.Size([2])
print('torch.dot:',c,c.shape) # torch.dot: tensor(8) torch.Size([])
7、@【等价于 torch.dot() + torch.mv() + torch.mm()】
mat1 @ mat2
若mat1和mat2都是一维向量，那么对应操作就是torch.dot()
若mat1是二维向量，mat2是一维向量，那么对应操作就是torch.mv()
若mat1和mat2都是二维向量，那么对应操作就是torch.mm()
vec1 = torch.arange(4)
vec2 = torch.tensor([4,3,2,1])
mat1 = torch.arange(12).reshape(4,3)
mat2 = torch.arange(12).reshape(3,4)
print(vec1 @ vec2) # 两个一维向量
print(mat2 @ vec1) # 一个二维和一个一维
print(mat1 @ mat2) # 两个二维向量
Output:
tensor(10)
tensor([14, 38, 62])
tensor([[ 20, 23, 26, 29],
[ 56, 68, 80, 92],
[ 92, 113, 134, 155],
[128, 158, 188, 218]])
torch.matmul() 【矩阵乘法，可高维，可广播】
torch.matmul() 与 @ 类似，但它不止局限于一维和二维，可以扩展到高维，且可以广播
如果输入的两个张量都是一维的，那么返回点积，得到一个数，对应的操作就是torch.dot()
如果输入的两个张量都是二维的，那么返回矩阵乘积，对应的操作就是torch.mm()
如果输入的第一个张量是二维的，第二个张量是一维的，matrix第二维需要与 vector维度相同，返回矩阵向量乘积，对应的操作就是torch.mv()
8、L2 元素平方求和开根号
L1 元素绝对值求和
