向量和向量空间
向量
标量（Scalar）是一个实数，只有大小，没有方向。而向量（Vector）是由一组实数组成的有序数组，同时具有大小和方向。
一个维向量是由个有序实数组成，表示为：
其中称为向量的第个分量，或者第维。向量符号一般用黑色小写字母或者小写字母表示。
为了书写方便期见，本系列文章向量并没有进行黑色加粗，但读者也要进行区分。
向量空间
向量空间（Vector Space）也称为线性空间（Linear Space），是指由向量组成的集合，并满足以下的两个条件：
- 向量加法+：向量空间中的两个向量，他们的和也属于向量空间
- 标量乘法：向量空间中的任一向量和任一标量，他们的乘积也属于向量空间
欧式空间（Euclidean Space）是一个常用的线性空间，通常表示为，其中为空间维度（Dimension）。欧式空间中向量加法和标量乘法定义为：
其中向量加法需要满足两个向量的维度必须一致。
线性子空间向量空间的线性子空间是的一个子集，并且满足向量空间的两个条件（向量加法和标量乘法）。
线性无关线性空间中的一组向量，如果对任意的一组标量，满足，则必然，那么是线性无关的，也称为线性独立。
注意中 0 表示 维的0向量
线性相关性是线性代数的重要概念，因为线性无关的一组向量可以生成一个向量空间，而这组向量则是这向量空间的基。
补充wiki上的线性相关性判断：
- 含有零向量的向量组，必定线性相关。若有向量组，其中，则。
- 含有两个相等向量的向量组，必定线性相关。若有向量组，其中，则。
- 若一向量组相关，则加上任意个向量后，仍然线性相关；即局部线性相关，整体必线性相关。
- 整体线性无关，局部必线性无关。
- 向量个数大于向量维数，则此向量组线性相关。
- 若一向量组线性无关，即使每一向量都在同一位置处增加一分量，仍然线性无关。
- 若一向量组线性相关，即使每一向量都在同一位置处减去一分量，仍然线性相关。
- 若线性无关，而线性相关，则，b必可由线性表示，且表示系数唯一。
- 有向量组和，其中，且中每个向量都可由线性表示，则向量组必线性相关。即向量个数多的向量组，若可被向量个数少的向量组线性表示，则向量个数多的向量组必线性相关。
- 若一向量组可由向量组线性表示，且线性无关，则。即线性无关的向量组，无法以向量个数较少的向量组线性表示。
基向量向量空间的基（bases）是的有限子集，其元素之间线性无关。向量空间所有的向量都可以按唯一的方式表达为中向量的线性组合。对任意，存在一组标量使得：
其中基中的向量称为基向量（base vector）。如果基向量是有序的，则标量称为向量关于基的坐标（coordinates）。
维空间的一组 标准基（standard basis） 为：
中的任一向量可以唯一表示为：
也称为向量的笛卡尔坐标（Carterian coordinates）。
向量空间中的每个向量可以看作是一个线性空间中的笛卡儿坐标。
内积一个维线性空间中的两个向量，其内积为：
正交如果向量空间中两个向量的内积为0，则他们正交（orthogonal）。如果向量空间中一个向量与子空间中的每个向量都正交，那么向量和子空间正交。
范数
范数（norm）是一个表示向量长度得函数，为向量空间内得所有向量赋予非零得正长度或大小。对于一个维向量，一个常见得范数函数为范数
其中为一个标量的参数。常用的的取值有等。
为向量各个元素的绝对值之和。
为向量各个元素的平方和再开方
范数又称为Euclidean范数或者Frobenius。从几何角度，向量也可以表示为从原点出发的一个带箭头的有向线段，其范数为线段的长度，也常称为向量的模。
为向量各个元素的最大绝对值。
下图给出了常见的不同范数示例。
常见的向量
全0向量指所有元素都为0的向量，用0表示。全0向量为笛卡尔坐标系中的原点。
全1向量指所有元素都为1的向量，用1表示。
one-hot向量为有且已有一个元素为1，其余元素都为0的向量。
閱讀更多 sandag 的文章
