线代概率论

[TOC]

线代

一、行列式

• 余子式：$M_{ij}$，不带正负号；代数余子式：$A_{ij}$，带正负号

  • 某行余子式计算，直接按系数换掉那一行

• 范德蒙行列式：$\left|\begin{array}{cccc}1 &1&\cdots&1 \\x_1&x_2&\cdots &x_n\\x_1^2&x_2^2&\cdots &x_n^2\\\vdots&\vdots&&\vdots\\x_1^{n-1}&x_2^{n-1}&\cdots &x_n^{n-1}\\ \end{array}\right|=\underset{1\le i<j\le n}{\Pi}(x_j-x_i)$

• 计算
  • 爪形：==斜爪消横爪==
  • 异爪形 ：==递推n阶(从指甲尖开始)==
  • 行(列)和相等（每行元素换个位置）：==所有列加到第一列，所有行减去第一行==
  • 拉普拉斯展开：==行列变换化为分块矩阵==
  • 范德蒙行列式

二、矩阵

1.性质

• $\begin{cases}(A+\boldsymbol{B})^T&=&A^T+\boldsymbol{B}^T\\ (\boldsymbol{AB})^T&=&\boldsymbol{B}^TA^T\\ |\boldsymbol{A_{n\times n}}^T|&=&|\boldsymbol{A_{n\times n}}|\end{cases}$
• 施密特正交化
• $A^TA=E$，则正交。其向量组是标准正交向量组。
• 分块矩阵
• 实对称阵的特征向量互相正交
• $A^TAx=0$与$Ax=0$同解！
• 矩阵合同$\iff$正负惯性指数相同
• 若$A\sim B$，则$r(A+kE)=r(B+kE)$。现阶段不能证，直接用

2.矩阵的逆

• $A^{-1}=\frac{1}{|A|}A^*$
  • 二阶求逆口诀：主对调，副变号，除以行列式
• 分块矩阵的逆
• 伴随矩阵：代数余子式转置排成矩阵
  • $AA^=A^A=|A|E$
  • $|A^|=|A|^{n-1}$ ，$(A^)^=|A^{n-2}|A$ ，$(kA)^=k^{n-1}A^*$

3.初等变换

• 行变换相当于左乘，列变换相当于右乘

• 初等变换性质

  • 例：求一个矩阵由哪些初等阵构成

    一步一步化为E，写出每一步的初等阵，求其逆

• 分块矩阵的逆 左乘同行，右乘同列，添负号 ==主对角线不换位置，副对角线换位置==

三、向量组

1.线性相关

• 证明线性相关：按定义设出式子，左右同乘 或者 代入重组

• 性质

  • 若$\alpha_1…\alpha_n$线性无关，加上$\beta$就线性相关，那么$\beta$可以用那些个$\alpha$唯一线性表示
  • 有一个能表示就算相关了
  • 以少表示多，多的那组相关
  • 原来无关，添维数必然无关；原来相关，减维数必然相关

2.秩

• 向量排成矩阵，行变换求$r(A)$

  • 按列找出一个秩为$r(A)$的子矩阵，挑出来的那几列对应的原向量就是极大无关组

• 向量组等价$\iff r(I)=r(II)=r(I|II)$

• 两个向量组，被表出的秩不大
• 秩越乘越小
• $\begin{cases}r(AB)\le min\{r(A),r(B)\}\\r(A+B)\le r(A)+r(B)\\r(A^*)=\begin{cases}n&r(A)=n\\1&r(A)=n-1\\0&r(A)<n-1\end{cases}\\AB=0\Longrightarrow r(A)+r(B)\le A的列数\end{cases}$

3.向量空间

• $\xi到\eta$的过渡矩阵定义：
• 坐标变换公式：

四、线性方程组

1.具体

• 齐次

  • 必有零解，列满秩时有唯一零解，列不满秩有n-r个线性无关解
  • 解法：设出来通解后求出其他值

• 非齐次

  • 系数矩阵和增广矩阵秩不等，无解
    • 秩相等且满秩，唯一解
    • 秩相等且不满秩，无穷多解

2.抽象

有解条件

3.公共解、同解方程组

• 求公共解

  • 联立方程组求解

  • 把一个的通解带到另外一个里面去

  • 求出两个通解，令其相等，求出任意系数之间的关系（k和l），关系带入通解得到公共解

    联立

• 同解

  • $r(A)=r(B)=r[\frac{A}{B}]$ 三秩相同（竖着拼）

  • ==设$A_{m\times n}$，则$r(A)=r(A^T)=r(AA^T)=r(A^TA)$==

    构造$Ax=0,A^TAx=0$，显然1的解是2的解

    若$\eta$是2的任一解$\Longrightarrow A^TA\eta=0\Longrightarrow \eta^T A^TA\eta=0\Longrightarrow(A\eta)^TA\eta=0\Longrightarrow||A\eta||^2=0\Longrightarrow A\eta=0$

    结论：1与2同解，基础解系等价，秩相同

五、特征值(A为方阵)

1.特征值与特征向量

• 性质

  • 特征值的和等于主对角线元素的和，特征值的积等于行列式

  • k重特征值至多只有k个线性无关的特征向量

  • ==$tr(A^)=A_{11}+A_{22}+A_{33}=\lambda_1^+\lambda_2^+\lambda_3^=\lambda_2\lambda_3+\lambda_1\lambda_3+\lambda_1\lambda_2$==

  • 矩阵秩为1，特征值必为$(n-1)$个0和一个“迹”（证明看下面）

  • 例题

    

• 求法

  • 具体：$|\lambda E-A|=0$ 特征方程。求出$\lambda$带回方程求出所有解即为特征向量

    • $|\lambda E-A|=\lambda^3-(a_{11}+a_{22}+a_{33})\lambda^2+S_2\lambda-|A|$，其中$S_2=\left| \begin{array}{ccc} a_{11}&a_{12}\\ a_{21}&a_{22}\end{array} \right| + \left| \begin{array}{ccc} a_{22}&a_{23}\\ a_{32}&a_{33}\end{array} \right| + \left| \begin{array}{ccc} a_{11}&a_{13}\\ a_{31}&a_{33}\end{array} \right|$
      • 如果 $r(A)=1$，那么两个 特征值为0，一个特征值为迹

    • $f(\lambda)=a_k\lambda^k+…+a_1\lambda^1+a_0=0$ 试根方法

      • 若$a_0=0$，$\lambda=0$是根
      • 若$a_k+…+a_1+a_0=0$，$\lambda=1$是根
      • 若偶次项之和=奇次项之和，$\lambda=-1$是根
      • 若最高次项是1，且所有系数都是整数，那么所有有理根都是$a_0$的因数

      注意$k\neq0!!!$

  • 抽象

    各种变化

• 重要关系对照表

2.相似

• 矩阵相似
  • 秩、行列式、迹、特征值相同 (反之不成立，反例：二阶1010和1101)
  • 求逆、转置、伴随、多项式处理后，仍然相似
• 相似对角化
  • 可对角化条件
    • 两个充分：有n个不同的特征值、是实对称阵
    • 两个充要：有n个线性无关特征向量、每个$k_i$重特征值都有$k_i$重特征向量
  • 步骤：求特征值、特征向量，拼起来
• 应用
  • 实对称阵
    • 不同特征值的特征向量正交。它必有n个线性无关的特征向量，因此必可相似对角化
    • 特征向量间的关系
    • 计算：求$Q^{-1}AQ=Q^TAQ=\Lambda$，多一步正交化(如果需要的话)和单位化
  • 反问题
    • 反求参数：相似矩阵迹相同，行列式相同
    • 反求A：$A=P\Lambda P^{-1}$
  • 求$A^n$与$f(A)$

六、二次型

1.化为标准型与规范型

• 标准型：只有平方项没有交叉项

  • 规范型：系数只有1，0，-1

• 配方法：将平方项和与其有关的混合项一次配完，如法炮制直至全部配完

  • n元要n换！缺项要补项
  • 没有平方项用平方差公式创造平方

• 通过正交变换 $x^TAx=y^T\Lambda y=\lambda_1y_1^2+\lambda_2y_2^2+\lambda_3y_3^2$。$x=Qy，Q=(\gamma_1,\gamma_2,\gamma_3)$，也就是三个特征向量

  例题：$f=x_1^2+2x_1x_2+2x_1x_3-x_2^2-2x_2x_3-x_3^2$ 化为标准型，写出可逆线性变换

  $f=(x_1+x_2+x_3)^2-2x_2^2-4x_2x_3-2x_3^2$

  $\ \ =(x_1+x_2+x_3)^2-2(x_2+x_3)^2$

  令$\begin{cases}y_1=x_1+x_2+x_3\\y_2=x_2+x_3\\y_3=x_3\end{cases}$ ，最终结果记得求逆

• 合同：$A,B$为N阶实对称阵，$C^TAC=B$，C可逆，$f(x)$与$g(y)$为合同二次型

  • 相当于旋转了坐标轴

2.正定二次型

• 惯性定理：标准型的正负项个数是恒定的

• 合同充要条件：有相同正负惯性指数 （前提都是对称阵）

  • 非对称阵A和B如果合同，$A_s=\frac{A+A^{-1}}{2},A_w=\frac{A-A^{-1}}{2}$，则$A_s$和$B_s$合同，$A_w$和$B_w$合同（合同的必要条件）

  • P为二阶实对称阵，$A=\left[ \begin{array}{ccc} 0 & a\\ -a & 0\end{array} \right]$，a为正实数，则有 $P^TAP=\begin{cases}A,&|P|=1 \\ -A,&|P|=-1 \end{cases}$

  • 若$A=\left[ \begin{array}{ccc} \lambda_1 & a\\ -a & \lambda_2\end{array} \right]$，$B=\left[ \begin{array}{ccc} \lambda_3 & b\\ -b & \lambda_4\end{array} \right]$，a b为正实数，则$A\simeq B\iff A_s\simeq B_s$且$b^2\lambda_1\lambda_2=a^2\lambda_3\lambda_4$

• 判定：

  • 非对称阵，正定，可能没有实特征值

  • 必要条件：主对角元素全正、行列式>0

    前提A一定是对称阵

• 三大变换：A正定$\begin{cases}\iff A^T正定（非对称方阵通过化为对称阵来判断正定）\\\iff A^{-1}正定\\\Longrightarrow A^*正定\end{cases}$

$\ $

概率论

一、随机事件与概率

• 古典概型

  • 有限个样本点、等可能

  • 大学期间排列符号用$P_n^m$，因为A另有用途

  • 用对立事件取巧计算

• 概率公式

  • 条件概率

  • 乘法公式

  • 例题：

    

    定义上来说AB不对

• 全概率公式例题：

  

  $P(A)=P(H_1)P(A|H_1)+P(H_2)P(A|H_2)=\frac{7}{8}$

  $P(C_1)=P(H_1|A)=\frac{P(H_1A)}{P(A)}=\frac{4}{7},P(C_2)=P(H_2|A)=\frac{P(H_2A)}{P(A)}=\frac{3}{7}$

  $P(\bar A)=P(C_1)P(\bar A|C_1)+P(C_2)P(\bar A|C_2)=\frac{4}{7}\cdot0+\frac{3}{7}\cdot\frac{1}{4}=\frac{3}{28}$

• 事件独立性

  • 三个事件相互独立/两两独立 含义不一样
  • $P(AB)=P(A)P(B)$
  • 一般来 说，互斥和独立没有必然联系
  • $0<P(A)<1，0<P(B)<1，AB=\phi或A\subset B\Longrightarrow$A与B一定不独立
  • $P(A)=0或1\Longrightarrow$A与任意事件B独立
  • $\phi$ 与任意事件既独立又互斥
  • 独立一定不相关，但是不（线性）相关不一定独立！！！

二、一维随机变量

1.随机变量

• 分布函数 $F(x)=P\{X\le x\}$，x取遍实数轴！
  • 性质
    • 单调不减
    • 右连续：左空心，右实心
    • 左极限0，右极限1
  • 应用：求概率 $\begin{cases}P\{X\le a\}=F(a)\\P\{X< a\}=F(a-0)\\P\{X= a\}=F(a)-F(a-0)\end{cases}$
  • 一些结论：
    • $F_1(x)F_2(x)$是分布函数，$F_1(x)+F_2(x)$不是分布函数
    • $f_1(x)f_2(x)$不一定是概率密度函数，$f_1(x)+f_2(x)$不是概率密度函数

2.连续型分布

• 无论边界是否取等，都是一样的，因为一个点概率测不到

  概念题

• 均匀分布

• 指数分布

  • $\lambda$表示失效率，越高表示越快
  • $p(x\ge s+t|x\ge s)=p(x\ge t)$

• 正态分布 $\phi(x)$

  • $\Phi(0)=0,\Phi(-x)=1-\Phi(x)$
  • 重要公式：$\int\limits_{-\infty}^{+\infty}e^{-\frac{(x-\mu)^2}{2\sigma^2}}dx=\sqrt{2\pi}\sigma$
  • 上$\alpha$分位数：某点右侧面积是$\alpha$
  • 见到正态分布必写标准化

3.离散型分布

• 二项分布B(n,p)：伯努利实验 $p\{X=k\}=C_n^kp^k(1-p)^{n-k}$
• 几何分布 G(p)：首次发生 $p\{X=k\}=p\cdot(1-p)^{k-1}$
• 泊松分布 $P(\lambda)$ ：稀有事件发生概率 $p\{X=k\}=\frac{\lambda^k}{k!}e^{-\lambda}(k=0,1,…;\lambda>0)$
  • 某场合某单位时间内源源不断的质点来流的个数，$\lambda$表示强度
• 超几何分布 H(n,N,M)：$p\{X=k\}=\frac{C_m^kC_{N-M}^{n-k}}{C_N^n},max\{0,n-N+M\le k\le min\{M,n\}$

4.随机变量分布函数

• 例题

  

三、多维随机变量

1.多维随机变量

• 
• 二维分布函数中，其中一个取到无穷，得到的就是另一个的分布函数

2.二维离散

• 

3.二维连续

• 联合概率密度
• 边缘概率密度：==求谁不积谁，不积先定限==
• 条件概率密度： $条件=\frac{联合}{边缘}$
• 独立性：
  • $F(x,y)=F_X(x)F_Y(y)$
  • $f_{X|Y}(x|y)=f_X(x)$
  • $X,Y独立\Longrightarrow f(X)与g(Y)独立$。单向箭头，不能回推！

4.函数的分布(⭐️)

• (离散，离散)->离散

• (连续，连续)->连续

  • 分布函数法：通过画图的方式确定z取不同值时候的 积分区间，然后再求导

  • 卷积公式

    $Z=X+Y$时，把一个变量直接替换，对另一个变量积分，得到Z的概率密度函数

    其实积分内部还要乘一个偏导z的绝对值

    

• (离散，连续)->连续

  • 离散的那个用全概率公式展开

四、随机变量数字特征

1.一维

• 期望

  • 对于均匀分布，取样取最大值最小值时候，可以写出$F(x)$，利用独立同分布进而转换成每一个，从而写出F，求导即可得到所求$f(x)$
  • 对于正态分布，取样取最大值最小值时候，可以利用$\begin{cases}max\{X,Y\}=\frac{1}{2}\{X+Y+|X-Y|\} \\ min\{X,Y\}=\frac{1}{2}\{X+Y-|X-Y|\} \end{cases}$

• 方差：

  • 平方的期望减期望的平方 $DX=EX^2-(EX)^2$
  • $D(X\pm Y)=D(X)+D(Y)\pm 2Cov(X,Y)$
  • 独立时，二项、泊松、正态、卡方 具有可加性
  • 
  • 卡方分布 $X\sim\chi^2(n)$，$E(X)=n，D(X)=2n$

• 利用$E(X)$巧解积分 $E(X)=\int_0^{+\infty}x\lambda e^{-\lambda x}dx=\frac{1}{\lambda}$

  例题：$\begin{cases}\int\limits_0^{+\infty}xe^{-6 x}dx=\frac{1}{6}\int_\limits0^{+\infty}x6e^{-6 x}dx=\frac{1}{36} \\ \int_\limits0^{+\infty}x^2e^{-6 x}dx=\frac{1}{6}\int\limits_0^{+\infty}x^26e^{-6 x}dx=\frac{1}{6}\times(\frac{1}{6^2}+(\frac{1}{6})^2)\end{cases}$

• 切比雪夫不等式

2.二维

• 期望：只有独立才可打开直接乘
• 协方差：$Cov(X,Y)=E(XY)-EXEY$
• 相关系数 $\rho_{xy}=\frac{E(XY)-EXEY}{\sqrt{DX}\sqrt{DY}}$ 为0时线性不相关

3.独立性判定

• 用分布判定独立性
• 用数字特征判定相关性

五、大数定律

1.依概率收敛

2.大数定律

在满足一定条件下，均值依概率收敛到均值的期望

• 切比雪夫大数定律：相互独立随机序列，方差一致有上界
• 伯努利大数定律
• 辛钦大数定律：独立同分布随机序列，期望存在

3.中心极限定理

• 列维-林德伯格定理：要求$\mu、\sigma$都存在，独立同分布随机序列和服从正态

• 利莫夫-拉普拉斯定理：样本足够大时，$\sum\limits_{i=1}^{n}X_i,E=nE\bar X,D=nD\bar X$

  • ==中心极限定理比切比雪夫不等式更精确==

    例题

六、数理统计

1.统计量及其分布

• 样本数字特征

  • 
    • $X\sim N(\mu,\sigma^2)\Longrightarrow \bar X与S^2独立，也就是\bar X与\sum\limits_{i=1}^n(X_i-\bar X)^2独立$
  • 
  • 

• 顺序统计量

  • Max $\begin{cases}F_{(n)}(x)=[F(x)]^n\\f_{(n)}(x)=n[F(x)]^{n-1}f(x)\end{cases}$
  • Min $\begin{cases}F_{(l)}(x)=1-[1-F(x)]^n\\f_{(l)}(x)=n[1-F(x)]^{n-1}f(x)\end{cases}$

• 三大分布

  • $\chi^2$分布：标准正态分布的平方和，有几个自由度就是几
    • EX=n，DX=2n
  • t分布：把$\chi^2$分布变换成一对一：除以n再开方
    • 自由度是样本个数-1
    • $t_{1-\alpha}(n)=-t_\alpha(n)$
  • F分布：两个$\chi^2$分布分别除以自己的自由度再比较
  • $F_\alpha(n_1,n_2)=\frac{1}{F_{1-\alpha}(n_2,n_1)}$

• ==正态总体下常用结论==

  

2.参数的点估计

• 方法
  • 矩估计法：算出来$EX$，令$\bar x=EX$，反解出来$\hat \theta$
  • 极大似然估计
    • 写概率函数，取对数，求导，令为0，解出$\hat \theta$，根据范围选择合理的值
    • 
    • 问“估计值”，用小写$x_i$；问“估计量”用大写$X_i$
• 评价标准
  • 无偏：$E\hat\theta=\theta$，$\hat\theta$是无偏估计
  • 有效：$\hat\theta_1,\hat\theta_2$都是无偏估计，谁方差小谁更有效
  • 一致（相合性）：$\hat\theta\stackrel{P}{\longrightarrow}\theta$

3.参数的区间估计

• 区间估计

  • 正态总体均值的置信区间（利用==正态总体常用结论==变形）

    • 形式

      推导：

      $p(|\bar x-\mu|<\Delta)=1-\alpha\iff p(|\frac{\bar x-\mu}{\sigma/\sqrt{n}}|<\frac{\Delta}{\sigma/\sqrt{n}})=1-\alpha$

      $\Delta=Z_{\frac{\alpha}{2}}\frac{\sigma}{\sqrt{n}}$ 或者 $\Delta=T_{\frac{\alpha}{2}}(n-1)\cdot\frac{S}{\sqrt{n}}$

      $\Delta$表示想要置信度为$1-\alpha$情况下$|\bar x-\mu|$的上限

      即$p(\bar x-\Delta<\mu<\bar x+\Delta)=1-\alpha=0.99$ “有99%的把握落在这个区间”

• 假设检验

  • 用估计的$\mu$算出来一个拒绝域，看抽样的均值是否在这里面

    例题：学生成绩为正态布，选36名学生。平均成绩66.5分，标准差15分。

    问显著性水平0.05下，是否可以认为平均成绩为70分？

    • 假设$H_0：\mu=\mu_0=70。H_1：\mu\neq 70$
    • $T=\frac{\bar X-\mu_0}{S/\sqrt{n}}=\frac{\bar X-70}{S/\sqrt{n}}=t(35)$
    • $P\{|\frac{\bar X-\mu_0}{S/\sqrt n}|>t_{\frac{\alpha}{2}}(35)\}=\alpha$
    • $|t|=|\frac{66.5-70}{15/6}|=1.4<2.0301$，不在拒绝域，假设合理

• 两类错误

  • 弃真$\alpha$，取伪$\beta$。二者不是和为1
  • 控制$\alpha$情况下使得$\beta$尽可能小