深度学习 学习笔记

发布 2021-05-12 11:55:28 阅读 4811

第二章线性代数。

标量(scalar):一个标量就是一个单独的数,向量(vector):一个向量是一列数。

指定 x1,x3 和 x6,我们定义集合 s = 然后写作 xs。我们用符号-表示集合的补集中的索引。比如 x1 表示 x 中除 x1 外的所有元素,xs 表示 x 中除 x1,x3,x6 外所有元素构成的向量。

矩阵(matrix):矩阵是一个二维数组,其中的每一个元素被两个索引(而非一个)所确定。

我们通常会赋予矩阵粗体的大写变量名称,比如 a。如果一个实数矩阵高度为 m,宽度为 n,那么我们说 。

张量(tensor):在某些情况下,我们会讨论坐标超过两维的数组。一般地,一个数组中的元素分布在若干维坐标的规则网格中,我们称之为张量。

我们使用字体 a 来表示张量 “a’’。张量 a 中坐标为 (i, j, k) 的元素记作 ai,j,k

转置(transpose)是矩阵的重要操作之一。矩阵的转置是以对角线为轴的镜像,这条从左上角到右下角的对角线被称为主对角线(main diagonal)。图2.1 显示了这。

个操作。我们将矩阵 a 的转置表示为 a,定义如下。

标量可以看作是只有一个元素的矩阵。因此,标量的转置等于它本身,矩阵和向量相乘。

矩阵 a 的列数必须和矩阵 b 的行数相等。如果矩阵 a 的形状是 m × n,矩阵 b 的形状是 n × p,那么矩阵c 的形状是 m × p。

c = ab2.4)

具体地,该乘法操作定义为。

需要注意的是,两个矩阵的标准乘积不是指两个矩阵中对应元素的乘积。不过,那样的矩阵操作确实是存在的,被称为元素对应乘积(element-wise product)或。

者 hadamard 乘积(hadamard product),记为 a ⊙ b。

两个相同维数的向量 x 和 y 的点积(dot product)可看作是矩阵乘积

矩阵乘积服从分配律:

a(b + c) =ab + ac. (2.6)

矩阵乘积也服从结合律:

a(bc) =ab)c. (2.7)

2.3 单位矩阵和逆矩阵。

2.4 线性相关和生成子空间。

2.5范数。

深度学习 学习笔记

目录 一 概述。二 背景。三 人脑视觉机理。四 关于特征。4.1 特征表示的粒度。4.2 初级 浅层 特征表示。4.3 结构性特征表示。4.4 需要有多少个特征?五 deep learning的基本思想。六 浅层学习 shallow learning 和深度学习 deep learning 七 de...

机器学习与深度学习实战

关于举办机器学习与深度学习实战培训班的通知。一 培训收益。课程中通过细致讲解,使学员掌握该技术的本质。具体收益包括 1.回归算法理论与实战 2.决策树算法理论与实战 3.集成学习算法理论与实战 4.knn算法和决策树算法理论与实战 5.聚类算法理论与实战 6.神经网络算法 8.生成式对抗网络gans...

深度学习学期总结

3.具有学生充分展示交流 呈现学习成果的舞台。课堂要有学生进行展示与交流的充分时间和广阔舞台,让学生充分展现观点 方法 成果,充分地与同学 老师进行交流,在交流的过程中进行思维碰撞,迸发创新火花,发展创新思维,提高合作能力,获得自我激励。要充分利用好黑板 笔记本 发言等多种展示平台,并掌握好展示时间...