更新数理统计

probability-theory-and-mathematical-statistics/exercise/2-random-variables-and-distribution/random-variables-and-distribution.tex

@@ -136,7 +136,7 @@ $(X,Y)$联合概率=条件概率×边缘概率。
         \draw[black](1,1) -- (1,0) node[below]{$1$};
         \draw[black](0,0) -- (1,1);
         \draw[black, densely dashed](0.5,0.5) -- (0.5,0) node[below]{$\dfrac{1}{2}$};
-        \filldraw [fill=gray!50] (0.5,0.5) -- (1,1) -- (1,0) -- (0.5,0.5);
+        \filldraw [fill=gray!20] (0.5,0.5) -- (1,1) -- (1,0) -- (0.5,0.5);
         \draw[black](0.8,0.5) node{$D$};
         \draw[black, densely dashed](0.6,0) -- (0.6,1) node[above]{$y=y_0$};
     \end{tikzpicture}

probability-theory-and-mathematical-statistics/exercise/3-digital-features/digital-features.tex

@@ -23,7 +23,7 @@
 \usepackage[colorlinks,linkcolor=black,urlcolor=blue]{hyperref}
 % 超链接
 \author{Didnelpsun}
-\title{标题}
+\title{随机变量数字特征}
 \date{}
 \begin{document}
 \maketitle
@@ -34,5 +34,22 @@
 \newpage
 \pagestyle{plain}
 \setcounter{page}{1}
-\section{}
+\section{一维随机变量数字特征}
+
+\subsection{数学期望}
+
+\subsubsection{离散型随机变量}
+
+\subsubsection{连续型随机变量}
+
+\textbf{例题：}连续型随机变量$X$的概率密度为$f(x)=\dfrac{1}{\pi(1+x^2)}$（$-\infty<x<+\infty$），求$EX$。
+
+解：$EX=\int_{-\infty}^{+\infty}xf(x)\,\textrm{d}x=\int_{-\infty}^{+\infty}x\dfrac{1}{\pi(1+x^2)}\textrm{d}x=\dfrac{1}{2\pi}\int_{-\infty}^{+\infty}\dfrac{\textrm{d}(1+x^2)}{1+x^2}=\dfrac{1}{2pi}\ln(^1+x^2)|_{-\infty}^{+\infty}$。发散，所以不存在。
+
+\subsubsection{连续型随机变量函数}
+
+\textbf{例题：}连续型随机变量$X$的概率密度为$f(x)=\dfrac{1}{\pi(1+x^2)}$（$-\infty<x<+\infty$），求$E(\min\{\vert X\vert,1\})$。
+
+解：$E(\min\{\vert X\vert,1\})=\displaystyle{\int_{-\infty}^{+\infty}}\min\{\vert x\vert,1\}\dfrac{1}{\pi(1+x^2)}\textrm{d}x=\dfrac{2}{\pi}\int_0^{+\infty}\min\{x,1\}$\\$\dfrac{1}{1+x^2}\textrm{d}x=\dfrac{2}{\pi}\displaystyle{\int_0^1}x\dfrac{1}{1+x^2}\textrm{d}x+\dfrac{2}{\pi}\int_1^{+\infty}1\cdot\dfrac{1}{1+x^2}\textrm{d}x=\dfrac{1}{\pi}\ln(1+x^2)|_0^1+\dfrac{2}{\pi}\arctan x|_1^{+\infty}$\\$=\dfrac{1}{\pi}\ln2+\dfrac{1}{2}$。
+
 \end{document}

probability-theory-and-mathematical-statistics/knowledge/3-digital-features/digital-features.tex

@@ -25,6 +25,10 @@
 % 数学公式
 \usepackage[colorlinks,linkcolor=black,urlcolor=blue]{hyperref}
 % 超链接
+\usepackage{array}
+% 表格垂直居中
+\usepackage{diagbox}
+% 表格斜线
 \author{Didnelpsun}
 \title{随机变量数字特征}
 \date{}
@@ -44,6 +48,8 @@
 
 \subsection{数学期望}
 
+\subsubsection{概念}
+
 设$X$是随机变量，$Y$是$X$的函数，$Y=g(X)$。
 
 \textcolor{violet}{\textbf{定义：}}若$X$是离散型随机变量，其分布列为$p_i=P\{X=x_i\}$（$i=1,2,\cdots$），若级数$\sum\limits_{i=1}^\infty x_ip_i$绝对收敛，则称随机变量$X$的数学期望存在，并将级数和$\sum\limits_{i=1}^\infty x_ip_i$称为随机变量$X$的\textbf{数学期望}，记为$E(X)$或$EX$，即$EX=\sum\limits_{i=1}^\infty x_ip_i$，否则$X$数学期望不存在。（数学期望实际上是一种加权的合理平均值）
@@ -52,22 +58,196 @@
 
 \textcolor{violet}{\textbf{定义：}}若$X$是连续型随机变量，其概率密度为$f(x)$。若积分$\int_{-\infty}^{+\infty}xf(x)\,\textrm{d}x$绝对收敛，则称$X$的数学期望存在，且$EX=\int_{-\infty}^{+\infty}xf(x)\,\textrm{d}x$，否则$X$的数学期望不存在。
 
-若积分$\int_{-\infty}^{+\infty}g(x)f(x)\,\textrm{d}x$绝对收敛，则称$g(X)$的数学期望存在，且$E[g(X)]=\int_{-\infty}^{+\infty}g(x)f(x)\,\textrm{d}x$，否则$g(X)$的数学期望不存在。
+若积分$\int_{-\infty}^{+\infty}g(x)f(x)\,\textrm{d}x$绝对收敛，则称$g(X)$的数学期望存在，$E[g(X)]=\int_{-\infty}^{+\infty}g(x)f(x)\,\textrm{d}x$，否则$g(X)$的数学期望不存在。
+
+\subsubsection{性质}
+
+\begin{itemize}
+    \item 对任意常数$a_i$和随机变量$X_i$（$i=1,2,\cdots,n$）有$E\left(\sum\limits_{i=1}^na_iX_i\right)=\sum\limits_{i=1}^na_iEX_i$，其中$Ec=c$，$E(aX+c)=aEX+c$，$E(X\pm Y)=EX\pm EY$。
+    \item 若$XY$相互独立，则$E(XY)=EX\cdot EY$，$E[g_1(X),g_2(Y)]=E[g_1(X)]\cdot E[g_2(Y)]$，一般若$X_1,X_2,\cdots,X_n$相互独立，则$E\left(\prod\limits_{i=1}^nX_i\right)=\prod\limits_{i=1}^nEX_i$，$E\left[\prod\limits_{i=1}^ng_i(X_i)\right]=\prod\limits_{i=1}^nE[g_i(X_i)]$。
+\end{itemize}
 
 \subsection{方差标准差}
 
+\subsubsection{概念}
+
+\textcolor{violet}{\textbf{定义：}}设$X$是随机变量，若$E[(X-EX)^2]$存在，则称$E[(X-EX)^2]$为$X$的\textbf{方差}，记为$DX$，即$DX=E[(X-EX)^2]=E(X^2)-(EX)^2$。称$\sqrt{DX}$为$X$的\textbf{标准差}或\textbf{均方差}，记为$\delta(X)$，称随机变量$X^*=\dfrac{X-EX}{\sqrt{DX}}$为$X$的\textbf{标准化随机变量}，此时$EX^*=0$，$DX^*=1$。
+
+\subsubsection{性质}
+
+\begin{itemize}
+    \item $DX\geqslant0$，$E(X^2)=DX+(EX)^2\geqslant(EX)^2$。
+    \item $Dc=0$。
+    \item $D(aX+b)=a^2DX$。
+    \item $D(X\pm Y)=DX+DY\pm2Cov(X,Y)$。
+    \item 若$XY$相互独立，则$D(aX+bY)=a^2DX+b^2DY$，一般若$X_1,X_2,\cdots,X_n$相互独立，$g_i(x)$为关于$x$的连续函数，则$D\left(\sum\limits_{i=1}^na_iX_i\right)=\sum\limits_{i=1}^na_i^2DX_i$，$D\left[\sum\limits_{i=1}^ng_i(X_i)\right]=\sum\limits_{i=1}^nD[g_i(X_i)]$。
+\end{itemize}
+
 \subsection{切比雪夫不等式}
 
+\textcolor{violet}{\textbf{定义：}}若随机变量$X$的方差$DX$存在，则对任意$\epsilon>0$，有$P\{\vert X-EX\vert\leqslant\epsilon\}\leqslant\dfrac{DX}{\epsilon^2}$或$P\{\vert X-EX\vert<\epsilon\}\geqslant1-\dfrac{DX}{\epsilon^2}$。
+
+即一个变量不会离标准差太大距离。
+
+可以用于估算随机变量在某范围中取值的概率，也可以证明某些收敛性问题（如数学统计章节中的一致性）。
+
+\textbf{例题：}设$XY$为随机变量，数学期望都是2，方差分别为1和4，相关系数为0.5，尝试估计估计概率$P\{\vert X-Y\vert\geqslant6\}$。
+
+解：令$Z=X-Y$，$\therefore EZ=E(X-Y)=EX-EY=2-2=0$，所以$P\{\vert X-Y\vert\geqslant6\}=P\{\vert X-Y-0\vert\geqslant6\}=P\{\vert Z-EZ\vert\geqslant6\}\leqslant\dfrac{DZ}{6^2}=\dfrac{3}{36}=\dfrac{1}{2}$。
+
+\subsection{常用分布数字特征}
+
+\begin{center}
+    \begin{tabular}{|m{50pt}<{\centering}|m{220pt}<{\centering}|c|c|}
+        \hline
+        分布 & 分布列$p_i$或概率密度$f(x)$ & 期望 & 方差 \\ \hline
+        0-1分布$B(1,p)$ & $P\{X=k\}=p^k(1-p)^{1-k}$，$k=0,1$ & $p$ & $p(1-p)$ \\ \hline
+        二项分布$B(n,p)$ & $P\{X=k\}=C_n^kp^k(1-p)^{n-k}$，$k=0,\cdots,n$ & $np$ & $np(1-p)$ \\ \hline
+        泊松分布$P(\lambda)$ & $P\{X=k\}=\dfrac{\lambda^k}{k!}e^{-\lambda}$，$k=0,\cdots$ & $\lambda$ & $\lambda$ \\ \hline
+        几何分布$G(p)$ & $P\{X=k\}=(1-p)^{k-1}$，$p,k=1,\cdots$ & $\dfrac{1}{p}$ & $\dfrac{1-p}{p^2}$ \\ \hline
+        正态分布$N(\mu,\delta^2)$ & $f(x)=\dfrac{1}{\sqrt{2\pi}\delta}\exp\left\{-\dfrac{(x-\mu)^2}{2\delta^2}\right\}$，$x\in R$ & $\mu$ & $\delta^2$ \\ \hline
+        均匀分布$U(a,b)$ & $f(x)=\dfrac{1}{b-a}$，$a<x<b$ & $\dfrac{a+b}{2}$ & $\dfrac{(b-a)^2}{12}$ \\ \hline
+        指数分布$E(\lambda)$ & $f(x)=\lambda e^{-\lambda x}$，$x>0$ & $\dfrac{1}{\lambda}$ & $\dfrac{1}{\lambda^2}$ \\ \hline
+    \end{tabular}
+\end{center}
+
 \section{二维随机变量数字特征}
 
 \subsection{数学期望}
 
+\textcolor{violet}{\textbf{定义：}}若$XY$为随机变量，$g(X,Y)$为$XY$的函数，如果$(X,Y)$为离散型随机变量，其联合分布为$p_{ij}=P\{X=x_i,Y=y_i\}$（$i,j=1,2,\cdots$），若级数$\sum\limits_i\sum\limits_jg(x_i,y_j)p_{ij}$绝对收敛，则$E[g(X,Y)]=\sum\limits_i\sum\limits_jg(x_i,y_j)p_{ij}$；如果$(X,Y)$为连续型随机变量，其概率密度为$f(x,y)$，若积分$\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}g(x,y)f(x,y)\,\textrm{d}x\textrm{d}y$绝对收敛，则定义$E[g(X,Y)]=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}g(x,y)f(x,y)\,\textrm{d}x\textrm{d}y$。
+
 \subsection{协方差相关系数}
 
+\subsubsection{概念}
+
+\textcolor{violet}{\textbf{定义：}}若随机变量$XY$的方差存在且$DX>0$，$DY>0$，则称$E[(X-EX)(Y-EY)]$为随机变量$X$与$Y$的\textbf{协方差}，记为$Cov(X,Y)$，即$Cov(X,Y)=E[(X-EX)(Y-EY)]=E(XY-XEY-YEX+EXEY)=E(XY)-EX\cdot EY$。
+
+其中$E(XY)=\left\{\begin{array}{l}
+    \sum\limits_i\sum\limits_jx_iy_jP\{X=x_i,Y=y_j\} \\
+    \int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}xyf(x,y)\,\textrm{d}x\textrm{d}y
+\end{array}\right.$。
+
+从定义来看，方差$DX$就是自己的协方差$Cov(X,X)$。
+
+\textcolor{violet}{\textbf{定义：}}$\rho_{XY}=\dfrac{Cov(X,Y)}{\sqrt{DX}\sqrt{DY}}$为随机变量$XY$的\textbf{相关系数}。若$\rho_{XY}=0$，则$XY$不相干，否则相关。
+
+相关系数是描述随机变量$XY$之间的线性关系。相关系数为0不代表没有其之间没有关系，也可能存在非线性关系。
+
+\subsubsection{性质}
+
+\begin{itemize}
+    \item 对称性：$Cov(X,Y)=Cov(Y,X)$，$\rho_{XY}=\rho_{YX}$，$Cov(X,X)=DX$，$\rho_{XX}=1$。
+    \item 线性性：$Cov(X,c)=0$，$Cov(aX+b,Y)=aCov(X,Y)$，$Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)$。一般$Cov\left(\sum\limits_{i=1}^na_iX_i,Y\right)=\sum\limits_{i=1}^nCov(X_i,Y)$。
+    \item 相关系数有界性：$\vert\rho_{XY}\vert\leqslant1$。
+    \item 线性关系下的相关系数：若$Y=aX+b$，则$\rho_{XY}=\left\{\begin{array}{ll}
+        1, & a>0 \\
+        -1, & a<0
+    \end{array}\right.$。
+\end{itemize}
+
+\textbf{例题：}设随机变量$XY$的概率分布分别为：
+
+\begin{center}
+    \begin{tabular}{m{20pt}<{\centering}|m{40pt}<{\centering}m{40pt}<{\centering}}
+        \hline
+        $X$ & 0 & 1 \\ \hline
+        $P$ & 1/3 & 2/3 \\ \hline
+    \end{tabular}\qquad
+    \begin{tabular}{m{20pt}<{\centering}|m{40pt}<{\centering}m{40pt}<{\centering}m{40pt}<{\centering}}
+        \hline
+        $Y$ & -1 & 0 & 1 \\ \hline
+        $P$ & 1/3 & 1/3 & 1/3 \\ \hline
+    \end{tabular}
+\end{center}
+
+且$P\{X^2=Y^2\}=1$。
+
+(1)求随机变量$(X,Y)$的概率分布。
+
+(2)求$Z=XY$的概率分布。
+
+(3)求$XY$的相关系数$\rho_{XY}$。
+
+(1)解：根据已知的题目条件可以知道对应的边缘概率分布：
+
+\begin{center}
+    \begin{tabular}{c|ccc|c}
+        \diagbox{$X$}{$Y$} & -1 & 0 & 1 & $X$边缘 \\ \hline
+        0 & & & & 1/3 \\ \hline
+        1 & & & & 2/3 \\ \hline
+        $Y$边缘 & 1/3 & 1/3 & 1/3 & 1 \\ \hline
+    \end{tabular}
+\end{center}
+
+又$P\{X^2=Y^2\}=1$，所以$P\{X^2\neq Y^2\}=0$，所以$X=\pm Y$，解得：
+
+\begin{center}
+    \begin{tabular}{c|ccc|c}
+        \diagbox{$X$}{$Y$} & -1 & 0 & 1 & $X$边缘 \\ \hline
+        0 & 0 & 1/3 & 0 & 1/3 \\ \hline
+        1 & 1/3 & 0 & 1/3 & 2/3 \\ \hline
+        $Y$边缘 & 1/3 & 1/3 & 1/3 & 1 \\ \hline
+    \end{tabular}
+\end{center}
+
+(2)解：$Z=XY$的可能取值为-1，0，1。所以根据表格：
+
+$P\{Z=-1\}=P\{X=1,Y=-1\}=\dfrac{1}{3}$。
+
+$P\{Z=1\}=P\{X=1,Y=1\}=\dfrac{1}{3}$。
+
+$P\{Z=0\}=1-P\{Z=1\}-P\{Z=-1\}=\dfrac{1}{3}$。
+
+(3)解：$\rho=\dfrac{Cov(X,Y)}{\sqrt{DX}\sqrt{DY}}=\dfrac{EXY-EXEY}{\sqrt{DX}\sqrt{DY}}=0$。
+
 \section{独立性与相关性}
 
+\begin{itemize}
+    \item 独立则一定不相关，但是不相关不一定独立。
+    \item 如果相关则一定不独立。
+    \item 如果$(X,Y)$服从二维正态分布，则$XY$独立与$XY$不相关是充要条件。
+\end{itemize}
+
 \subsection{分布判断独立性}
 
+都是通过分布情况判断独立性：
+
+\begin{itemize}
+    \item $F(x,y)=F_X(x)\cdot F_Y(y)$。
+    \item $f(x,y)=f_X(x)\cdot f_Y(y)$。
+    \item $P\{X=x_i,Y=y_j\}=P\{X=x_i\}\cdot P\{Y=y_j\}$。
+\end{itemize}
+
 \subsection{数字特征判断相关性}
 
+通过相关系数$\rho_{XY}$来判断是否存在线性相关性。
+
+$\rho_{XY}=0\Leftrightarrow Cov(X,Y)=0\Leftrightarrow E(XY)=EX\cdot EY\Leftrightarrow D(X\pm Y)=DX+DY$。
+
+\subsection{基本判别流程}
+
+当讨论随机变量$XY$的相关性独立性时：
+
+\begin{enumerate}
+    \item 计算$Cov(X,Y)=E(XY)-EXEY$判断是否为0。
+    \item 当$Cov(X,Y)\neq0$时则$XY$相关不独立。
+    \item 当$Cov(X,Y)=0$时则$XY$不相关。
+    \item 若$P(XY)=P(X)P(Y)$则$XY$不相关但独立，否则不相关不独立。
+\end{enumerate}
+
+\textbf{例题：}设随机变量$X$的概率密度为$f(x)=\dfrac{1}{2}e^{-\vert x\vert}$，$x\in(-\infty,+\infty)$。证明$X$与$\vert X\vert$不相关且不独立。
+
+解：$Cov(X,Y)=EXY-EXEY=EX\vert X\vert-EXE\vert X\vert$。
+
+其中$EX=\displaystyle{\int_{-\infty}^{+\infty}}x\cdot\dfrac{1}{2}e^{-\vert x\vert}\,\textrm{d}x=0$，$EXY=\displaystyle{\int_{-\infty}^{+\infty}}x\cdot\dfrac{1}{2}e^{-\vert x\vert}\vert x\vert\,\textrm{d}x=0$。
+
+$\therefore\rho_{XY}=0$，从而$XY$不相关。
+
+令$X\leqslant a$，则$P\{X\leqslant a\}$。而$P\{\vert X\vert\leqslant a\}=P\{-a\leqslant X\leqslant a\}<P\{X\leqslant a\}$。
+
+$\therefore P\{X\leqslant a,\vert X\vert\leqslant a\}=P\{\vert X\vert\leqslant a\}$，又$P\{X\leqslant a\}<1$。
+
+$\therefore P\{X\leqslant a,\vert X\vert\leqslant a\}\neq P\{\vert X\vert\leqslant a\}\cdot P\{\vert X\vert\leqslant a\}$，所以不独立。
+
 \end{document}

probability-theory-and-mathematical-statistics/knowledge/4-law-of-large-numbers-and-central-limit-theorem/law-of-large-numbers-and-central-limit-theorem.tex

@@ -2,6 +2,9 @@
 % UTF8编码，ctexart现实中文
 \usepackage{color}
 % 使用颜色
+\definecolor{orange}{RGB}{255,127,0}  
+\definecolor{violet}{RGB}{192,0,255}  
+\definecolor{aqua}{RGB}{0,255,255} 
 \usepackage{geometry}
 \setcounter{tocdepth}{4}
 \setcounter{secnumdepth}{4}
@@ -23,7 +26,7 @@
 \usepackage[colorlinks,linkcolor=black,urlcolor=blue]{hyperref}
 % 超链接
 \author{Didnelpsun}
-\title{标题}
+\title{大数定律与中心极限定理}
 \date{}
 \begin{document}
 \maketitle
@@ -34,5 +37,93 @@
 \newpage
 \pagestyle{plain}
 \setcounter{page}{1}
-\section{}
+
+这些定理与定律是针对极大量数据的概率分析，是概率论向数理统计的过渡。
+
+\section{依概率收敛}
+
+\textcolor{violet}{\textbf{定义：}}设随机变量$X$与随机变量序列$\{X_n\}$（$n=1,2,3\cdots$），如果对任意的$\epsilon>0$，有$\lim\limits_{n\to\infty}P\{\vert X_n-X\vert\geqslant\epsilon\}=0$或$\lim\limits_{n\to\infty}P\{\vert X_n-X\vert<\epsilon\}=1$，则称随机变量序列$\{X_n\}$\textbf{依概率收敛于随机变量$X$}，记为$\lim\limits_{n\to\infty}X_n=X(P)$或$X_n\overset{P}{\rightarrow}X(n\to\infty)$。
+
+\section{大数定律}
+
+在满足一定的条件下，大数定律均为$\dfrac{1}{n}\sum\limits_{i=1}^nX_i\overset{P}{\rightarrow}E\left(\dfrac{1}{n}\sum\limits_{i=1}^nX_i\right)$。
+
+所以大数定律一般是考定律成立条件与结论正确性。
+
+\subsection{切比雪夫大数定律}
+
+\textcolor{violet}{\textbf{定义：}}假设随机变量序列$\{X_n\}$（$n=1,2,3\cdots$）是\textbf{相互独立}的，若方差$DX_i$（$i\geqslant1$）\textbf{存在且一致有上界}，即存在常数$C$，使得$DX_i\leqslant C$对一切$i\geqslant1$均成立，则$\{X_n\}$服从大数定律：$\dfrac{1}{n}\sum\limits_{i=1}^nX_i\overset{P}{\longrightarrow}\dfrac{1}{n}\sum\limits_{i=1}^nEX_i$。即$\overline{X}\overset{P}{\rightarrow}E\overline{X}$。
+
+\textbf{例题：}设$X_1,X_2,\cdots,X_n,\cdots$为相互独立的随机变量序列，$X_n$服从参数为$n$的指数分布（$n\leqslant1$），则下列随机变量序列中不服从切比雪夫大数定律的是()。
+
+$A.X_1,\dfrac{1}{2}X_2,\cdots,\dfrac{1}{n}X_n,\cdots$\qquad$B.X_1,X_2,\cdots,X_n,\cdots$
+
+$C.X_1,2X_2,\cdots,nX_n,\cdots$\qquad$D.X_1,2^2X_2,\cdots,n^2X_n,\cdots$
+
+解：切比雪夫大数定律要求有两点，一个是随机变量序列有解，一个是方差存在上界，即$DX_i\leqslant C$。因为题目说明相互独立，所以只用考虑方差上界。
+
+$\because X_n\sim E(n)$，$\therefore EX_n=\dfrac{1}{n}$，$DX_n=\dfrac{1}{n^2}$。
+
+对于$A$，$D\left(\dfrac{1}{n}X_n\right)=\dfrac{1}{n^2}DX_n=\dfrac{1}{n^4}\leqslant1$。对于$B$，$DX_n=\dfrac{1}{n^2}\leqslant1$。
+
+对于$C$，$D(nX_n)=n^2\dfrac{1}{n^2}=1$，对于$D$，$D(n^2X_n)=n^4\dfrac{1}{n^2}=n^2\overset{n\to\infty}{\longrightarrow}\infty$。
+
+所以选择$D$。
+
+\subsection{伯努利大数定律}
+
+\textcolor{violet}{\textbf{定义：}}假设$\mu_n$是$n$重伯努利试验中事件$A$发生的次数，在每次试验中事件$A$发生的概率为$p$（$0<p<1$），则$\dfrac{\mu_n}{n}\overset{P}{\longrightarrow}p$，即对任意的$\epsilon>0$，有$\lim\limits_{x\to\infty}P\left\{\left\vert\dfrac{\mu_n}{n}-p\right\vert<\epsilon\right\}=1$。
+
+可以看作通过$n$重伯努利试验，一个事件的概率会逼近一个固定的值。
+
+\subsection{辛钦大数定律}
+
+\textcolor{violet}{\textbf{定义：}}假设随机变量序列$\{X_n\}$（$n=1,2,3\cdots$）是\textbf{相互独立}的\textbf{同分布}的，如果$EX_i=\mu$（$i=1,2,\cdots$）\textbf{存在}，则$\dfrac{1}{n}\sum\limits_{i=1}^nX_i\overset{P}{\longrightarrow}\mu$，即对任意的$\epsilon>0$有$\lim\limits_{n\to\infty}P\left\{\left\vert\dfrac{1}{n}\sum\limits_{i=1}^nX_i-\mu\right\vert<\epsilon\right\}=1$。也可以转换为即$\overline{X}\overset{P}{\rightarrow}E\overline{X}$。\medskip
+
+\textbf{例题：}假设随机变量序列$X_1,X_2,\cdots,X_n,\cdots$相互独立，根据辛钦大数定律，当$n\to\infty$时，$\dfrac{1}{n}\sum\limits_{i=1}^nX_i$依概率收敛于数学期望，只要$\{X_n\}$()。
+
+$A.$有相同的数学期望\qquad$B.$服从同一离散型分布
+
+$C.$服从同一泊松分布\qquad$D.$服从同一连续型分布
+
+解：辛钦大数定律要求三点：随机变量序列独立、拥有同样分布、期望存在。
+
+已知题目表示变量相互独立，所以只用证明有同样分布、有期望就可以。
+
+对于$BD$而言满足是有分布的，但是此时不一定有期望，所以$BD$不行。
+
+对于$A$有相同期望，只要求有期望就可以了，相同期望不一定同一分布。
+
+对于$D$服从同一分布，且泊松分布期望存在。
+
+\textbf{例题：}将一枚骰子重复投掷$n$次，当$n\to\infty$时，$n$次掷出的点数的算术平均值$\overline{X}$依概率收敛于何值？
+
+解：根据题目，投掷是独立事件，发生概率是离散的同一分布，且期望存在$=\dfrac{1}{6}\sum\limits_{i=1}^6i=3.5$，所以使用辛钦大数定律。
+
+所以根据辛钦大数定律$\overline{X_n}\overset{P}{\rightarrow}E\overline{X_n}=EX_i=3.5$。
+
+\section{中心极限定理}
+
+中心极限定理总结来看均为：若$X_i$独立同分布于某一分布$F$，则$\sum\limits_{i=1}^nX_i\overset{n\to\infty}{\sim}N(n\mu,n\delta^2)$。
+
+\subsection{列维-林德伯格定理}
+
+\textcolor{violet}{\textbf{定义：}}假设$\{X_n\}$是独立分布的随机变量序列，若$EX_i=\mu$，$DX_i=\delta^2>0$（$i=1,2,\cdots$）存在，则对任意的实数$x$，有$\lim\limits_{n\to\infty}P\left\{\dfrac{\sum\limits_{i=1}^nX_i-n\mu}{\sqrt{n}\delta}\leqslant x\right\}=\dfrac{1}{\sqrt{2}\pi}\int_{-\infty}^xe^{-\frac{t^2}{2}}\,\textrm{d}t=\varPhi(x)$。（正态分布标准化）
+
+定理要求：独立、同分布、期望方差存在。
+
+\subsection{棣莫弗-拉普拉斯定理}
+
+\textcolor{violet}{\textbf{定义：}}假设随机变量$Y_n\sim B(n,p)$（$0<p<1$，$n\geqslant1$），则对任意实数$x$，有$\lim\limits_{n\to\infty}P\left\{\dfrac{Y_n-np}{\sqrt{np(1-p)}}\leqslant x\right\}=\dfrac{1}{\sqrt{pi}}\int_{-\infty}^xe^{-\frac{t^2}{2}}\,\textrm{d}t=\varPhi(x)$。\medskip
+
+\textbf{例题：}生产线生产的产品成箱包装，每箱质量是随机的。假设每箱平均钟50千克，标准差为5，若用载重为5吨的汽车承运，试用中心极限定理说明每辆汽车最多可以装多少箱才能保证不超载的概率大于0.977。（$\varPhi(2)=0.977$）
+
+解：设$X_i$为第$i$箱质量，所以$EX_i=50$，$DX_i=25$。
+
+记$T_n=\sum\limits_{i=1}^nX_i$，$ET_n=50n$，$DT_n=25n$。
+
+根据中心极限定理得到：$P\{T_n\leqslant5000\}=P\left\{\dfrac{T_n-50n}{5\sqrt{n}}\leqslant\dfrac{5000-50n}{5\sqrt{n}}\right\}\approx\varPhi\left(\dfrac{5000-50n}{5\sqrt{n}}\right)>0.977=\varPhi(2)$。
+
+即$\dfrac{5000-50n}{5\sqrt{n}}\geqslant2$，即$n\leqslant98$，即选98。
+
 \end{document}

probability-theory-and-mathematical-statistics/knowledge/5-mathematical-statistics/mathematical-statistics.tex

@@ -2,6 +2,9 @@
 % UTF8编码，ctexart现实中文
 \usepackage{color}
 % 使用颜色
+\definecolor{orange}{RGB}{255,127,0}  
+\definecolor{violet}{RGB}{192,0,255}  
+\definecolor{aqua}{RGB}{0,255,255} 
 \usepackage{geometry}
 \setcounter{tocdepth}{4}
 \setcounter{secnumdepth}{4}
@@ -22,6 +25,8 @@
 % 数学公式
 \usepackage[colorlinks,linkcolor=black,urlcolor=blue]{hyperref}
 % 超链接
+\usepackage{tikz}
+% 绘图
 \author{Didnelpsun}
 \title{标题}
 \date{}
@@ -34,5 +39,166 @@
 \newpage
 \pagestyle{plain}
 \setcounter{page}{1}
-\section{}
+\section{总体与样本}
+
+\subsection{总体定义}
+
+\textcolor{violet}{\textbf{定义：}}研究对象的全体称为\textbf{总体}，组成总体的每一个元素称为\textbf{个体}。
+
+\subsection{样本}
+
+\subsubsection{定义}
+
+\textcolor{violet}{\textbf{定义：}}$n$个相互独立且域总体$X$有相同概率分布的随机变量$X_1,X_2,\cdots,X_n$所组成的整体$(X_1,X_2,\cdots,X_n)$称为来自总体$X$，容量为$n$个一个\textbf{简单随机样本}，简称\textbf{样本}。一次抽样结果的$n$个具体值$(x_1,x_2,\cdots,x_n)$称为来自样本$X_1,X_2,\cdots,X_n$的一个\textbf{观测值}或\textbf{样本值}。
+
+在概率论中称为独立同分布，而在数理统计就称为简单随机样本。
+
+\subsubsection{分布}
+
+对于容量为$n$的样本$X_1,X_2,\cdots,X_n$有如下定理：假设总体$X$的分布函数为$F(x)$（概率密度为$f(x)$，或概率分布为$p_i=P\{X=x_i\}$），则$(X_1,X_2,\cdots,X_n)$的分布函数为$F(x_1,x_2,\cdots,x_n)=\prod\limits_{i=1}^nF(x_i)$。
+
+对于离散型随机变量联合分布：$F(X_1=x_1,X_2=x_2,\cdots,X_n=x_n)=\prod\limits_{i=1}^nP\{X_i=x_i\}$。
+
+对于连续型随机变量联合概率密度：$f(x_1,x_2,\cdots,x_n)=\prod\limits_{i=1}^nf(x_i)$。
+
+\section{统计量与分布}
+
+\subsection{统计量}
+
+设$X_1,X_2,\cdots,X_n$来自总体$X$的一个样本，$g(x_1,x_2,\cdots,x_n)$为$n$元函数，若$g$中不含有任何未知参数，则称$g(X_1,X_2,\cdots,X_n)$为样本$X_1,X_2,\cdots,X_n$的一个\textbf{统计量}。若$(x_1,x_2,\cdots,x_n)$为样本值，则称$g(x_1,x_2,\cdots,x_n)$为$g(X_1,X_2,\cdots,X_n)$的\textbf{观测值}。
+
+\subsection{常用统计量}
+
+\begin{itemize}
+    \item 样本均值：$\overline{X}=\dfrac{1}{n}\sum\limits_{i=1}^nX_i$。
+    \item 样本方差：$S^2=\dfrac{1}{n-1}\sum\limits_{i=1}^n(X_i-\overline{X})^2$。
+    \item 样本标准差：$S=\sqrt{\dfrac{1}{n-1}\sum\limits_{i=1}^n(X_i-\overline{X})^2}$。
+    \item 样本$k$阶（原点）矩：$A_k=\dfrac{1}{n}\sum\limits_{i=1}^nX_i^k$（$k=1,2,\cdots$）。
+    \item 样本$k$中心矩：$B_k=\dfrac{1}{n}\sum\limits_{i=1}^n(X_i-\overline{X})^k$（$k=1,2,\cdots$）。
+\end{itemize}
+
+\subsection{顺序统计量}
+
+\subsubsection{概念}
+
+将样本$X_1,X_2,\cdots,X_n$的$n$个观测量按其值从小到大的顺序排列，得到$X_{(1)}\leqslant X_{(2)}\leqslant\cdots\leqslant X_{(n)}$。
+
+随机变量$X_{(k)}$（$k=1,2,\cdots,n$）称为\textbf{第$k$顺序统计量}，其中$X_{(1)}$是最小顺序统计量，而$X_{(n)}$是最大顺序统计量。
+
+$X_{(n)}$的分布函数为$F_{(n)}(x)=[F(x)]^n$，概率密度为$f_{(n)}(x)=n[F(x)]^{n-1}f(x)$。
+
+证明：$F_{(n)}(x)=P\{X_{(n)}\leqslant x\}=P\{\max\{x_1,\cdots,x_n\}\leqslant x\}=P\{x_1\leqslant x,\cdots,x_n\leqslant x\}=P\{x_1\leqslant x\}\cdots P\{x_n\leqslant x\}=F_{(1)}(x)\cdots F_{(n)}(x)=[F(x)]^n$。
+
+$X_{(1)}$的分布函数为$F_{(1)}(x)=1-[1-F(x)]^n$，概率密度为$f_{(1)}(x)=n[1-F(x)]^{n-1}f(x)$。
+
+证明：$F_{(1)}(x)=P\{X_{(1)}\leqslant x\}=P\{\min\{x_1,\cdots,x_n\}\leqslant x\}=1-P\{\min\{x_1,\cdots$\\$,x_n\}>x\}=1-P\{x_1>x,\cdots,x_n>x\}=1-P\{x_1>x\}\cdots P\{x_n>x\}=1-[1-P\{x_1\leqslant x\}]\cdots[1-P\{x_n\leqslant x\}]=1-[1-F_{(1)}(x)]\cdots[1-F_{(n)}(x)]=1-[1-F(x)]^n$。
+
+\subsubsection{性质}
+
+设总体$X$的期望$EX=\mu$，方差$DX=\delta^2$，样本$X_1,X_2,\cdots,X_n$取自$X$，$\overline{X}$和$S^2$分别为样本的均值和方差，则：
+
+\begin{itemize}
+    \item $EX_i=\mu$。
+    \item $DX_i=\delta^2$。
+    \item $E\overline{X}=EX=\mu$。
+    \item $D\overline{X}=D\left(\dfrac{1}{n}\sum\limits_{i=1}^nx_i\right)=\dfrac{1}{n^2}n\delta^2=\dfrac{1}{n}DX=\dfrac{\delta^2}{n}$。
+    \item $E(S^2)=E\left(\dfrac{1}{n-1}\sum\limits_{i=1}^n(x_i-\overline{x})^2\right)=E\left(\dfrac{1}{n-1}\sum\limits_{i=1}^n(x_i^2-2x_i\overline{x}+\overline{x}^2)\right)=$\\$E\left(\dfrac{1}{n-1}\left(\sum\limits_{i=1}^nx_i^2-2\overline{x}\cdot\sum\limits_{i=1}^nx_i+n\overline{x}^2\right)\right)=E\left(\dfrac{1}{n-1}\left(\sum\limits_{i=1}^nx_i^2-n\overline{x}^2\right)\right)=$\\$\dfrac{1}{n-1}E\left(\sum\limits_{i=1}^nx_i^2-n\overline{x}^2\right)=\dfrac{1}{n-1}\left(\sum\limits_{i=1}^nEx_i^2-nE\overline{x}^2\right)=\dfrac{n}{n-1}[(Ex_i)^2+Dx_i-(E\overline{x})^2-D\overline{x}]=\dfrac{n}{n-1}\left(\mu^2+\delta^2-\mu^2-\dfrac{\delta^2}{n}\right)=DX=\delta^2$。
+\end{itemize}
+
+\subsection{三大分布}
+
+\subsubsection{\texorpdfstring{$\chi^2$分布}{}}
+
+\paragraph{概念} \leavevmode \medskip
+
+\textcolor{violet}{\textbf{定义：}}若随机变量$X_1,X_2,\cdots,X_n$相互独立，且都服从标准正态分布，则随机变量$X=\sum\limits_{i=1}^nX_i^2$服从自由度为$n$的$\chi^2$分布，记为$X\sim\chi^2(n)$，特别地$X_i^2\sim\chi^2(1)$。
+
+对给定的$\alpha$（$0<\alpha<1$）称满足$P\{\chi^2>\chi_\alpha^2(n)\}=\int_{\chi_\alpha^2(n)}^{+\infty}f(x)\,\textrm{d}x=\alpha$的$\chi_\alpha^2(n)$为$\chi^2(n)$分布的\textbf{上$\alpha$分位点}。
+
+\begin{tikzpicture}[scale=2]
+    \draw[-latex](-0.25,0) -- (3,0) node[below]{$x$};
+    \draw[-latex](0,-0.25) -- (0,3) node[above]{$y$};
+    \filldraw[black] (0,0) node[below]{$O$};
+    \draw[red, thick, domain=0.125:3] plot (\x,{pow(\x,-0.5)*pow(e,-\x*\x/2)});
+    \filldraw[black] (0.5,2.75) node{$n=1$};
+    \draw[brown, thick, domain=0.125:3] plot (\x,{pow(e,-\x*\x/2)});
+    \filldraw[black] (0.5,1.125) node{$n=2$};
+    \draw[blue, thick, domain=0:3] plot (\x,{pow(\x,0.5)*pow(e,-\x*\x/2)});
+    \filldraw[black] (0.6,0.45) node{$n=3$};
+    \draw[purple, thick, domain=0:3] plot (\x,{pow(\x,4)*pow(e,-\x*\x/2)/5});
+    \filldraw[black] (2,0.55) node{$n=10$};
+    \filldraw[black] (0.25,3) node{$f(x)$};
+\end{tikzpicture}
+\begin{tikzpicture}[scale=2]
+    \draw[-latex](-0.25,0) -- (3,0) node[below]{$x$};
+    \draw[-latex](0,-0.25) -- (0,3) node[above]{$y$};
+    \filldraw[black] (0,0) node[below]{$O$};
+    \draw[black, thick, domain=0:3] plot (\x,{pow(\x,2)*pow(e,-\x*\x/2)});
+    \filldraw[black] (1.7,0.25) node{$\chi_a^2(n)$};
+    \filldraw [fill=gray!20] (2,0) -- (2,0.5) --  plot [domain=2:3,smooth] (\x,{pow(\x,2)*pow(e,-\x*\x/2)}) -- (3,0) -- (2,0);
+    \filldraw[black] (0.25,3) node{$f(x)$};
+    \filldraw[black] (2.25,0.2) node{$\alpha$};
+\end{tikzpicture}
+
+\paragraph{性质} \leavevmode \medskip 
+
+\begin{itemize}
+    \item 若$X_1\sim\chi^2(n_1)$，$X_2\sim\chi^2(n_2)$，$X_1X_2$相互独立，则$X_1+X_2\sim\chi^2(n_1+n_2)$。一般，若$X_i\sim\chi^2(n_i)$（$i=1,2,\cdots,m$），$X_1,X_2,\cdots,X_m$相互独立，则$\sum\limits_{i=1}^mX_i\sim\chi^2\left(\sum\limits_{i=1}^mn_i\right)$。
+    \item 若$X\sim\chi^2(n)$，则$EX=n$，$DX=2n$。
+\end{itemize}
+
+\subsubsection{\texorpdfstring{$t$分布}{}}
+
+\paragraph{概念} \leavevmode \medskip
+
+也称为学生分布。
+
+若随机变量$X\sim N(0,1)$，$Y\sim\chi^2(n)$，$XY$相互独立，则随机变量$t=\dfrac{X}{\sqrt{Y/n}}$服从自由度为$n$的$t$分布，记为$t\sim t(n)$。
+
+当$t\to\infty$时，$t$分布就是正态分布。其是偶函数，所以$Et=0$。
+
+\subsubsection{\texorpdfstring{$F$分布}{}}
+
+若随机变量$X_1,X_2,\cdots,X_n$
+
+\subsection{正态总体下结论}
+
+\section{参数点估计}
+
+\subsection{概念}
+
+\subsection{方法}
+
+\subsubsection{矩估计法}
+
+\subsubsection{最大似然估计}
+
+\subsection{估计量平均标准}
+
+\subsubsection{无偏性}
+
+\subsubsection{有效性}
+
+最小方差性。
+
+\subsubsection{一致性}
+
+相合性。
+
+\section{参数区间估计与假设检验}
+
+\subsection{区间估计}
+
+\subsubsection{概念}
+
+\subsubsection{正态总体均值的置信空间}
+
+\subsection{检设检验}
+
+\subsubsection{思想}
+
+\subsubsection{正态总体下的六大检验与拒绝域}
+
+\subsection{两类错误}
+
 \end{document}