Lan Goodfellow《深度学习》笔记

目录

• 第一章 引言
• 第1部分 应用数学与机器学习基础
  • 第二章 线性代数
    • 2.1标量、向量、矩阵和张量

第一章 引言

略

第1部分 应用数学与机器学习基础

第二章 线性代数

2.1标量、向量、矩阵和张量

• 标量(scalar):一个标量就是一个单独的数。

• 向量(vector):一个向量就是一列数。这些数是有序排列的。通过次序中的索引，我们可以确定每一个单独的数。如果每个元素都属于(ℝ)，并且该向量有(n)个元素，那么该向量属于实数集(ℝ)的(n)次笛卡尔积，记为(ℝ^n).

  (笛卡尔积:笛卡尔乘积是指在数学中，两个集合(X)和(Y)的笛卡尔积（Cartesian product），又称直积，表示为(X × Y)，第一个对象是(X)的成员而第二个对象是(Y)的所有可能有序对的其中一个成员。——摘自百度百科)

• 矩阵(matrix):矩阵式一个二维数组，其中的每一个元素由两个索引所确定。如果一个实数矩阵高度为(m)，宽度为(n)，那么我们说(A in ℝ^{m imes n})。

• 张量(tensor):在某些情况下，我们会讨论坐标超过两维的数组。一般的，一个数组中的元素分布在若干维坐标的规则网格中，我们称之为张量。

  ---

  1. 转置：((A^{T}_{i,j})=A_{i,j})

  2. 在深度学习中，我们也使用一些不那么常规的符号。我们允许矩阵和向量相加，产生另一个矩阵(C=A+B),其中，(C_{i,j}=A_{i,j}+B_{i,j})。换言之，向量(b)和矩阵(A)的每一行相加。这种隐式地复制向量(b)到很多位置的方式，称为广播(broadcasting)