概率论

概率论与数理统计/第16节 一元线性回归.md

@@ -1,6 +1,6 @@
 # 一元线性回归
 
-## 回归分析理解
+## 1 回归分析理解
 
 ### 变量关系
 
@@ -33,9 +33,17 @@
 * 线性回归：线性统计模型
 * 多项式回归：
 * 神经网络（常数回归？）：
-* 支持箱梁节（不知道诶）：
+* 支持向量积（不知道诶）：
 
-## 一元线性回归的数学描述
+
+> 这里很难用同一个分布的随机变量数字特征来表示。之前只讲过一个随机变量的分布，这个分布有期望和方差。这里随机变量随着普通变量变化。并且将随机变量抽象为三个部分：常数部分、参数变化部分、随机性部分。
+
+> 普通变量对随机变量的影响。参数对随机变量的影响。随机变量随着普通变量的变化关系。随机变量随着参数的变化过程。
+
+> 应该假设已经完全掌握之前的知识。另外，知识的巩固应该通过做题。
+
+
+## 2 一元线性回归的数学描述
 
 $E(y)=\mu(x)$的理解。
 
@@ -48,8 +56,226 @@ $E(y)=\mu(x)$的理解。
 回归分析
 * 求函数表达式$E(y)=\mu(x)$的估计是回归分析的基本内容。$\mu(x)$为y对x的理论回归函数，而基于数据对$\mu(x)$估计称为y对x的经验回归函数。
 
+一元回归分析的表示
+$$
+\begin{cases}
+    y = a + b x+\varepsilon\\
+    E(\varepsilon)=0,Var(\varepsilon)=\sigma^2
+\end{cases}\\
+a是截距,b是斜率。
+$$
 
-## 未知参数的估计及其统计性质
+## 3 未知参数的估计及其统计性质
+## 3.1 最小二乘估计过程
+### 定义：随机变量的表达
 
+* 条件
+$$
+(x_1,y_1),\cdots,(x_n,y_n)是样本\\
+\varepsilon_i相互独立，表示随机性，是随机误差\\
+a,b,\sigma^2是未知参数
+$$
+* 结论
+$$
+\begin{cases}
+    y_i = a + b x_i+\varepsilon_i\\
+    E(\varepsilon_i)=0,Var(\varepsilon_i)=\sigma^2
+\end{cases},i=1,2,\cdots,n
+$$
+
+### 计算：最小二乘估计
+偏差平方和最小
+$$
+Q(a,b)=\sum_{i=1}^n(y_i-a-bx_i)^2
+$$
+偏导等于零，解得
+$$
+\hat{a}=\overline{x}-\hat{b}\overline{x}\\
+\hat{b}=\frac{\sum x_iy_i-n\overline{x}\overline{y}}{\sum x_i^2-n\overline{x}^2}\\
+=\frac{\sum(x_i-\overline{x})(y_i-\overline{y})}{\sum(x_i-\overline{x})^2}\\
+=\frac{L_{xy}}{L_{xx}}
+$$
+> 斜率b的值等于xy的混合阶，除以x的阶。
+
+### 定义：规定符号
+$$
+L_{xx}=\sum(x_i-\overline{x})^2=\sum x_i^2-n\overline{x}=\sum(x_i-\overline{x})x_i\\
+
+L_{yy}=\sum(y_i-\overline{y})^2=\sum y_i^2-n\overline{y}=\sum(y_i-\overline{y})y_i\\
+
+L_{xy}=\sum(x_i-\overline{x})(y_i-\overline{y})=\sum x_iy_i-n\overline{xy}=\sum(x_i-\overline{x})y_i
+
+$$
+
+## 3.2 最小二乘估计性质
+### 定理：最小二乘估计的性质，一致最小方差无偏估计。
+
+* $\hat{a},\hat{b}是a、b的一致最小方差线性无偏估计$
+* $Cov(\overline{y},\hat{b})=0$
+* $Cov(\hat{a},\hat{b})=-\frac{\overline{x}}{L_{xx}}\sigma^2$
+* $Var(\hat{a})=(\frac{1}{n}+\frac{\overline{x}}{L_{xx}})\sigma^2$
+* $Var(\hat{b})=\frac{\sigma^2}{L_{xx}}$
+
+> 自由度讨论：协方差等于零，等价于两个变量的不相关，具有相互独立性。
+
+### 注意
+1. 选择$x_i$使得$\overline{x}=0$时，$Var(\hat{a})=\frac{\sigma^2}{n}$达到最小值。
+2. $x_i$取值越分散越好，$L_{xx}$越大表示越分散。
+3. 实验次数n不能太小
+
+### 定义：适应区间估计和假设检验的模型
+
+$$
+\begin{cases}
+y=a+bx+\varepsilon\\
+\varepsilon\sim N(0,\sigma^2)
+\end{cases}
+$$
+
+### 定理：最小二乘估计也是极大似然估计
+
+* $\hat{a},\hat{b}$也是极大似然估计
+* $\hat{a}\sim N(a,(\frac{1}{n}+\frac{\overline{x}^2}{L_{xx}})\sigma^2)$
+* $\hat{b}\sim N(b,\frac{\sigma^2}{L_{xx}}$
+* $\overline{y}与\hat{b}相互独立$
+
+## 3.3 $\sigma^2$的无偏估计
+### 定理：$\sigma^2$的无偏估计
+$Q(\hat{a},\hat{b})=\sum(y_i-\hat{y_i}^2$称为残差平方和。
+$$
+E(Q)=(n-2)\sigma^2\\
+\sigma^2=E(\frac{Q}{n-2})是\sigma^2的一个无偏估计
+$$
+
+### 定理：Q的性质
+
+1. $\frac{Q}{\sigma^2}\sim\chi^2(n-2)$
+2. $\hat{b}$与$Q$相互独立
+
+## 4 回归的显著性检验与回归系数的置信区间
+
+## 4.1 平方和分解过程 
+### 计算：平方和分解，回归系数的由来
+1. 平方和分解
+$$
+L_{yy}=\sum(y-y_i)^2=\sum(y_i-\hat{y_i})^2+\sum(\hat{y}-\overline{y})^2\\
+Q=\sum(y_i-\hat{y})^2,U=\sum(\hat{y}-\overline{y})^2\\
+L_{yy}=Q+U
+$$
+
+2. 相关性$R^2$的定义，表示数据离散长度占总的离散程度。描述了回归平方和U占离差平方和Lyy的比重。称$R^2$为决定系数、拟合优度，用直线来拟合数据的好坏程度。
+
+$$
+R^2=\frac{U}{L_{yy}}=\frac{[\sum(x_i-\overline{x})(y_i-\overline{y})]^2}{\sum(x_i-\overline{x})^2\sum(y_i-\overline{y})^2}
+$$
+
+3. 将决定系数标准化（单位标准化）。相关系数接近于1，表示相关性越大，相关系数接近于零，相关性越小。
+$$
+r=\frac{\sum(x_i-\overline{x})(y_i-\overline{y})}{\sqrt{\sum(x_i-\overline{x}})^2\sqrt{\sum(y_i-\overline{y})^2}}=\frac{L_{xy}}{\sqrt{L_{xx}}\sqrt{L_{yy}}}
+$$
+
+## 4.2 回归的显著性检验
+
+### 显著性检验假设
+> 对于多元线性回归，回归效果的显著性检验与回归系数的显著性检验是不同的。
+> * 回归效果的显著性检验检验响应变量对所有的解释变量整体的线性依赖性是否显著。
+> * 回归系数的显著性检验主要检验响应变量对某个解释变量或者某几个解释变量的线性依赖是否显著。
+
+$$
+H_0:b=0,H_1:b\not =0
+$$
+
+### 定理：$\chi^2$检验
+
+在一元线性回归模型下，假设$H_0$成立时，选取$\frac{U}{\sigma^2}$作为检验统计量
+$$
+\frac{U}{\sigma^2}\sim \chi^2(1)
+$$
+
+### 定理：F检验
+
+在一元线性回归模型下，选取$F=\frac{\frac{U}{\sigma^2}/1}{\frac{Q}{\sigma^2}/(n-2)}$作为检验统计量
+$$
+F=\frac{\frac{U}{\sigma^2}/1}{\frac{Q}{\sigma^2}/(n-2)}=\frac{(n-2)U}{Q}\sim F(1,n-2)
+$$
+
+### 定理：r检验
+在一元线性回归模型下选取r作为检验统计量。
+$$
+F=\frac{(n-1)r^2}{1-r^2}\\
+P\{|r|\geq [1+\frac{n-2}{F_{1-\alpha}(1,n-2)}]^{-\frac{1}{2}}\}=\alpha
+$$
+
+### 定理：t检验法
+
+在一元线性回归模型下，选取$t=\frac{\hat{b}-b}{\hat{\sigma^2}}\sqrt{L_{xx}}$作为检验统计量。
+$$
+t=\frac{\hat{b}-b}{\hat{\sigma^2}}\sqrt{L_{xx}}\sim t(n-2)
+$$
+
+## 4.3 回归系数的置信区间
+
+### 计算：b的置信区间
+
+1. 选择枢轴变量法的统计量$\frac{\hat{b}-b}{\hat{b}}\sigma^2\sqrt{L_{xx}}\sim t(n-2)$
+2. 给定置信水平$1-\alpha$有如下的关系式
+$$
+P\{\frac{|\hat{b}-b|}{\hat{\sigma}}\sqrt{L_{xx}}\leq t_{1-\frac{\alpha}{2}}(n-2)\}=1-\alpha
+$$
+3. 得到参数水平为$\alpha$的置信区间
+
+$$
+[\hat{b}-\frac{\hat{\sigma}}{\sqrt{L_{xx}}}t_{1-\frac{\alpha}{2}}(n-2),\hat{b}+\frac{\hat{\sigma}}{\sqrt{L_{xx}}}t_{1-\frac{\alpha}{2}}(n-2)]
+$$
+
+### 计算：a的置信区间
+
+$$
+[\hat{a}-\hat{\sigma}t_{1-\frac{\alpha}{2}}(n-2)\sqrt{\frac{1}{n}+\frac{\overline{x}^2}{L_{xx}}},\hat{a}+\hat{\sigma}t_{1-\frac{\alpha}{2}}(n-2)\sqrt{\frac{1}{n}+\frac{\overline{x}^2}{L_{xx}}}]
+$$
+
+## 5 预测控制
+
+### 计算：预测-$\hat{y}$的置信区间
+
+> 求$\hat{y}$的置信区间，就是$\varepsilon$的置信区间。
+
+一元线性回归模型成立，$\varepsilon_0\sim N(0,\sigma^2)$。
+1. 选择枢轴变量法的统计量$t=\frac{y_0-\hat{y}_0}{\hat{\sigma}\sqrt{1+\frac{1}{n}+\frac{(x_0-\overline{x})^2}{L_{xx}}}}\sim t(n-2)$
+
+2. 给定置信水平$1-\alpha$有如下不等式
+$$
+P\{t\leq t_{1-\frac{\alpha}{2}(n-2)}\}=1-\alpha
+$$
+
+3. 置信区间  
+这样会得到一个与样本的x_0相关的置信区间。这个置信区间是置信水平为1-\alpha对应的可能的\varepsilon取值，即对应的\hat(y)的取值。通过这个取值，能够得到一个带状区域。即用来预测的可能的带状区域。
+$$
+[\hat{y}_0-\delta(x_0),\hat{y}_0+\delta(x_0)]\\
+$$
+
+### 计算：控制
+给出$y_1^*,y_2^*,\alpha$计算此时应该控制的x的取值范围。
+
+得到条件方程式
+$$
+P\{y_1^*\leq y\leq y_2^*\}\geq 1-\alpha\\
+$$
+
+需要包含y的置信区间
+$$
+[\hat{y}_0-\delta(x_0),\hat{y}_0+\delta(x_0)]\\
+$$
+
+得到不等式
+
+$$
+y_1^*+\delta(x)\leq \hat{y}(x) \leq y_2^*-\delta(x)
+$$
+
+解得
+$$
+x_1^* = \frac{1}{\hat{b}}(y_1^*-\hat{a}+\hat{\sigma}z_{1-\frac{\alpha}{2}})\\
+x_2^* = \frac{1}{\hat{b}}(y_2^*-\hat{a}+\hat{\sigma}z_{1-\frac{\alpha}{2}})\\
+$$
 
-## 回归的显著性检验与回归系数的置信区间

概率论与数理统计/第17节 多元线性回归.md

@@ -1,4 +1,153 @@
+# 多远线性回归
 
+## 1 多元线性回归的数学描述
+
+### 定义：多远线性回归
+* 声明
+$$
+随机变量与，p个普通变量x_1,\cdots,x_p
+$$
+* 多元线性回归表示
+$$
+\begin{cases}
+    y=\beta_0+\beta_1x_1+\cdots+\beta_px_p+\varepsilon\\
+    E(\varepsilon)=0,Var(\varepsilon)=\sigma^2<+\infin
+\end{cases}
+$$
+* 样本方程组表示(矩阵向量)
+
+$$
+Y=X\beta+\varepsilon\\
+E(\varepsilon)=0,Var(\varepsilon)=\sigma^2I_n\\
+Y=\begin{bmatrix}
+    y_1\\
+    \vdots\\
+    y_n
+\end{bmatrix},
+X=\begin{bmatrix}
+    1 &x_{11} &\cdots &x_{1p}\\
+    \vdots &\vdots &&\vdots\\
+    1&x_{n1}&\cdots&x_{np}
+\end{bmatrix},
+\beta=\begin{bmatrix}
+    \beta_1\\
+    \vdots\\
+    \beta_n
+\end{bmatrix},
+\varepsilon=\begin{bmatrix}
+    \varepsilon_1\\
+    \vdots\\
+    \varepsilon_n
+\end{bmatrix},
+$$
+
+* 假设检验与参数估计中的表示
+$$
+Y=X\beta+\varepsilon\\
+\varepsilon\sim N(0,\sigma^2I_n)\\
+$$
+
+
+## 2 参数估计与统计性质
+### 最小二乘法
+* 残差平方和
+$$
+Q(\beta)=(Y-X\beta)^T(Y-X\beta)
+$$
+* 偏导数引理
+$$
+\frac{\partial(a^Tx)}{\partial x}=\frac{\partial (x^Ta)}{\partial x}=a\\
+\frac{\partial(x^TAx)}{\partial x}=2Ax
+$$
+* 求得参数
+$$
+\hat{\beta}=(X^TX)^{-1}X^TY
+$$
+* p元线性回归方程为
+$$
+\hat{y}=\hat{\beta}_0+\hat{\beta}_1x_1+\cdots+\hat{\beta}_px_p
+$$
+### 定理：矩阵的数字特征
+* $E(Ax)=AE(x)$
+* $Var(Ax)=AVar(x)A^T,Cov(Ax,By)=ACov(x,y)B^T$
+
+### 定理：矩阵的迹
+* $tr(A)=\sum a_{ij}$
+* $tr(A+B)=tr(A)+tr(B)$
+* $tr(AB)=tr(BA)$
+* $若A^2=A是对称幂等阵，则tr(A)=rank(A)$
+
+### 定理：系数\beta性质
+* $E(\hat{\beta})=\beta,Var(\hat{\beta})=\sigma^2(X^TX)^{-1}$
+* 协方差矩阵最小
+* $\hat{\beta}$是方差最小的线性无偏估计
+
+### 定理：残差向量e与残差平方和Q的性质
+
+* $E(e)=0,Var(e)=\sigma^2[I_n-X(X^TX)^{-1}X^T], Cov(e,\hat{\beta})=0$
+* $E(Q)=(n-p-1)\sigma^2$
+
+### 定理：相互独立
+
+$$
+Z_1=A\varepsilon+c,Z_2=B\varepsilon+d\\
+Z_1,Z_2相互独立的充要条件是AB^T=0
+$$
+
+### 定理：多元线性回归的性质
+
+* $\hat{\beta}\sim N(\beta,\sigma^2(X^TX)^{-1}$
+* $e\sim N(0,\sigma^2[I_n-X(X^TX)^{-1}X^T])$
+* $\hat{\beta},e相互独立,\hat{\beta},Q相互独立$
+* $\frac{Q}{\sigma^2}\sim \chi^2(n-p-1)$
+## 3 显著性检验
+
+### 定义：假设之间没有关系
+
+$$
+H_0:\beta_1=\cdots=\beta_p=0,H_1：\beta_1,\cdots,\beta_p不全为零
+$$
+
+### 显著性检验
+使用$\frac{U}{Q}$的比值作为检验统计量，进行假设检验。
+$$
+L_{yy}=Q+U
+$$
+
+检验统计量
+$$
+F=\frac{\frac{U}{\sigma^2}/p}{\frac{Q}{\sigma^2}/(n-p-1)}=\frac{n-p-1}{p}\frac{U}{Q}\sim F(p,n-p-1)
+$$
+计算拒绝域
+$$
+W=\{F:F\geq F_{1-\alpha}(p,n-p-1)\}
+$$
+## 4 单个回归系数的显著性检验与区间估计
+### 单回归系数的显著性检验
+假设
+$$
+H_{0i}:\beta_i=0,H_{1i}:\beta_i\not = 0
+$$
+检验统计量
+$$
+t_i=\frac{\hat{\beta}_i-\beta_i}{\hat(\sigma)\sqrt{c_{ii}}}\sim t(n-p-1)
+$$
+确定拒绝域
+$$
+W_i=\{t_i:|t_i|\geq t_{1-\frac{\alpha}{2}}(n-p-1)\}
+$$
+
+### 单回归系数的区间估计
+置信水平为1-\alpha的置信区间如下
+$$
+[\hat{\beta}_i-\hat{\sigma}t_{1-\frac{\alpha}{2}}(n-p-1)\sqrt{c_{ii}},\hat{\beta}_i+\hat{\sigma}t_{1-\frac{\alpha}{2}}(n-p-1)\sqrt{c_{ii}}]
+$$
+## 5 预测控制
+
+> 未涉及内容：
+> # 可化为线性回归的曲线回归
+> # 自变量选择与“最优”回归方程选择
+> # 异常情况的诊断处理
 状态转移方程
 
 $$

概率论与数理统计/第1节 概率论基础知识.md

@@ -370,6 +370,7 @@ $X\sim U(a,b),D(X)=\frac{(b-a)^2}{12}$
 $$
 Cov(X,Y)=E((X-E(X))(Y-E(Y))) \\
 =E(XY)-E(X)E(Y)\\
+样本=\sum(x_i-\overline{x})(y_i-\overline{y})\\
 \rho_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}
 $$
 X,Y 相互独立时，$Cov(X,Y)=0$
@@ -377,8 +378,8 @@ X,Y 相互独立时，$Cov(X,Y)=0$
 ### 协方差含义
 当求高数随机变量的方差时，如果随机变量不独立，会产生交叉项。高维乘积的方差，存在交叉项。
 $$
-D(XY)=E((X-E(X))^2)+E((Y-E(Y))^2)+E((X-E(X))(Y-E(Y))) \\
-D(XY)=D(X)+D(Y)+Cov(X,Y) \\
+D(X+Y)=E((X-E(X))^2)+E((Y-E(Y))^2)+2E((X-E(X))(Y-E(Y))) \\
+D(X+Y)=D(X)+D(Y)+2Cov(X,Y) \\
 $$
 相关系数是协方差的标准化。用来表示X与Y的相关性。
 

线性代数/0 线性代数概述.md

@@ -44,10 +44,12 @@ $$
 * 单位矩阵
 * 对角矩阵
 * （上下）三角矩阵
-* 伴随矩阵
-* 逆矩阵
+* 伴随矩阵（两个矩阵关系）
+* 逆矩阵（两个矩阵关系）
 * 正交矩阵
 * 对称矩阵
+* 相似矩阵（两个矩阵关系）
+
 
 ## 2 矩阵计算
 * 加减
@@ -68,12 +70,19 @@ $$
 B=A
 $$
 
+> 保留的性质：
+> * 线性方程组的解不变。
+> * 矩阵的秩不变
+
 
 ### 相似变换
 $$
 P^{-1}AP=B
 $$
 
+> 保留的性质
+> * 矩阵的特征值特征向量不变
+
 > 线性无关/自由度/独立性的描述
 > $$
 det A \not = 0\\
@@ -83,7 +92,14 @@ det A \not = 0\\
 线性无关空间\\
 > $$
 
+## 4 线性代数部分
+> 之前讲的是矩阵工具的应用
 
+### 线性方程组
+
+### 向量空间（向量组）
+
+### 线性空间
 
 > 矩阵表示
 > $$

线性代数/3 矩阵初等变换.md

@@ -46,3 +46,40 @@ $$
 
 ## 2 矩阵的秩
 
+### 定义：矩阵的k阶子式
+
+矩阵$A_{m\times n}$任取k行k列。位于交叉处的k个元素构成了k阶方阵，称为矩阵A的k阶子式。
+
+### 定义：矩阵的秩
+
+矩阵A中有一个不等于零的r阶子式D，并且矩阵A所有的r+1阶子式都为零，那么D称为矩阵A的最高阶非零子式，r称为矩阵的秩。记作$R(A)$，规定零矩阵的秩等于零。
+
+* 行满秩：r与矩阵A的行数相等。称为行满秩
+* 列满秩：r与矩阵A的列数相等。称为列满秩
+### 性质：矩阵的秩
+* $0\leq R(A_{m\times n})\leq min[m,n]$
+* $R(A^T)=R$
+* $若A\sim B,则R(A)=R(B)$
+* $若P,Q可逆，则R(PAQ)=R(A)$
+* $max\{R(A),R(B)\}\leq R(A,B)\leq R(A)+R(B)$
+* 可逆矩阵=非奇异矩阵=满秩矩阵
+* 不可逆矩阵=奇异矩阵=不满秩矩阵
+
+### 定理：初等变换秩相等
+
+$$
+若A\sim B,则R(A)=R(B)
+$$
+
+### 定理：相似变换
+$$
+可逆矩阵P,Q，使得B=PAQ\\
+则R(A)=R(B)
+$$
+
+### 定理：矩阵的乘法消去律
+
+$$
+若AB=\overrightarrow{0}，A为列满秩矩阵\\
+则B=\overrightarrow{0}
+$$

线性代数/3.1 线性方程组.md

@@ -0,0 +1,2 @@
+# 线性方程组
+> 利用矩阵求解线性方程组的解。

线性代数/4 向量空间.md

@@ -58,7 +58,7 @@ e_1,\cdots,e_r是向量空间V的一个规范正交基\\
 由一组基得到一组规范正交基的过程称为规范正交化。
 $$
 
-### 定理：施密特正交化
+### 定理：施密特正交化（正交化、单位化）
 
 1. 正交化
 $$
@@ -90,13 +90,14 @@ $$
 1. A的列向量与行向量都是单位向量，且两两正交。
 2. 若A为正交矩阵，则$A^{-1},A^T$都是正交矩阵，且$det A = |A|=1$
 3. 若A与B为正交阵，则AB也为正交阵。
+4. 若A是正交阵，则$A^{-1},A^*$都是正交阵。
 
 ### 定义：正交变换
 
 若P为正交矩阵，则$y=Px$称为正交变换。
 
 ### 性质：正交变换
-* ||y||=||x||
+* ||y||=||x||。正交变换保持长度不变。
 
 
 

线性代数/5 矩阵相似变换.md

@@ -108,18 +108,28 @@ P=(p_1,p_2,\cdots,p_n)
 $$
 ### 定理：相似对角化的充要条件
 
-n阶矩阵A与特征值对角阵相似的充分必要条件，A有n个线性无关的特征向量。
+1. n阶矩阵A与特征值对角阵相似的充分必要条件，A有n个线性无关的特征向量，则矩阵A可以相似对角化
 
-若n阶矩阵A的n个特征值不相等，则A通过变换矩阵（特征向量矩阵）与特征值对角阵相似。
+2. 若n阶矩阵A的n个特征值不相等，则有那个线性无关的特征向量，则A（通过特征向量矩阵）与特征值对角阵相似。
+
+3. 若n接矩阵A存在相等的特征值，即特征方程有k重根，且k重根对应k个线性无关的特征向量，则矩阵A可以相似对角化。
 
 ## 4 对称矩阵的对角化
-> 使用对称矩阵强化了相似对角化存在定理。简化相似对角的充分条件。
-### 定理：对称阵
-
+> 使用对称矩阵强化了相似对角化存在定理。简化相似对角的充分条件。即相似对角化
+### 定理：实对称矩阵
+$$
+A^T=A
+$$
 对称阵的特征值为实数。
-
+### 定理：正交矩阵
+$$
+A^T\cdot A=E\\
+A\cdot A^T=E\\
+A^T=A^{-1}\\
+$$
+则称A为正交矩阵。
 ### 定理：对称阵特征向量正交
-
+> 普通n阶矩阵的特征向量线性无关
 * 条件
 
 $$
@@ -132,14 +142,33 @@ $$
 p_1,p_2正交
 $$
 
-### 定理：对称阵特征对角矩阵存在
-
-* 条件
+### 定理：对称阵能相似对角化
+> 与上一个定理相同，特征向量正交，则组成的矩阵是正交阵。
 $$
 A 为对称阵，必有正交阵P，\\
 使得P^{-1}AP=P^TAP=\Lambda\\
 其中\Lambda是A中以n个特征值为对角元素的特征值对角阵。
 $$
+
+### 定理：多重特征值对应多个特征向量
+> 普通矩阵的多重特征值，不一定对应多个线性无关的特征向量。
+* 条件
+$$
+A是n阶对称矩阵\\
+\lambda是矩阵A的k重特征值，特征方程的
+k重根\\
+$$
 * 结论
+$$
+A-\lambda E的秩为n-k\\
+特征值\lambda有k个线性无关的特征向量。
+$$
+
+### 计算：矩阵对角化的步骤
+
+1. 求A互不相等的特征值$\lambda_1,\cdots,\lambda_s$他们的重数为$k_1,\cdots,k_s$
+2. 对$k_i$重特征值$\lambda_i$，求方程$A-\lambda E=0$的解，得到$k_i$个线性无关的特征向量。把向量正交化，单位化。得到$k_i$个两两正交的单位特征向量。
+3. 把n个正交的单位特征向量构成正交阵P，则可以通过$P^{-1}AP=P^TAP=\Lambda$实现相似对角化。
 
 
+## 5 二次型及标准型

线性代数/5.1 二次型.md

@@ -0,0 +1,2 @@
+# 二次型
+> 二次方程组的矩阵表示，及化简，变为标准型。