1、思考与讨论概率与人工智能的关系关系？为什么是条件概率条件概率？为什么是贝叶斯贝叶斯？随机试验(1)相同条件下，试验可重复进行可重复进行；(2)试验结果可能不止一个，但所有可能的结果事先已知结果事先已知；(3)每次试验结果是所有可能结果中的一个所有可能结果中的一个，但事先不可预知。结果的不确定性结果的不确定性是随机试验的显著特征若进一步限定多次试验相互独立相互独立，且结果只有发生和不发生发生和不发生两种情况，此类随机试验，称作“伯努利试验伯努利试验”。训练数据放回式重采样放回式重采样是随机试验样本空间与随机事件以随机试验所有可能的结果为元素的集合，称作“样本空间样本空间”放回式重采样放回式重采样
2、试验只有“+”、“-”例两类，则该随机试验的样本空间可表示为+，-图像分类图像分类任务也是一个随机试验。假设分类模型将图像划分为火车、轮船、小鸟、鲜花、其它物体五类，则该随机试验的样本空间为火车、轮船、小鸟、鲜花、其它。此处的样本空间与人工智能领域通常意义上的样本空间样本空间不一致随机试验的样本空间子集定义为随机事件随机事件。当且仅当试验结果与该子集中任意一个元素相同时，称作该随机事件发生随机事件发生“图像中的物体是火车或轮船吗？”构成一个随机事件猜硬币游戏：一元？五角？概 率事件发生可能性发生可能性大小的度量不可能发生不可能发生肯定发生肯定发生硬币是一元硬币硬币是五角硬币抛开其它因素，硬币是
3、一元硬币还是五角硬币的可能性与市场上流通的硬币直接相关概率概率等于事件发生的频率频率（大数据定律）对立事件对立事件定义定义条件概率许多实际的人工智能应用场景中，我们对某些先决条件下的概率先决条件下的概率更感兴趣。条件概率条件概率同时发生的概率同时发生的概率一般情况一般情况发发 生生表示事件B的发生对事件A的发生概率没有影响。称作事件A独立于独立于条件事件B表示事件A的发生对事件B的发生概率没有影响。称作事件B独立于独立于条件事件A相相互互独独立立3550岁的亚洲女性或4060岁的亚洲男性）人群患糖尿病的概率条件概率完备组完备组全概率公式全概率公式讨论讨论：全概率公式的意义（复杂事件拆分为简单事
4、件）条件概率与全概率公式是贝叶斯决策论贝叶斯决策论的基础随机变量给定待预测样本，其正确的预测结论预测结论虽然未知，但却是确定确定的。若给定其可能的取值空间取值空间，则对于任意样本，其正确的预测结论服从某种分布规律预测结论服从某种分布规律。给一个变量，设其在数轴上的取值依赖于随机试验的结果，则称此变量为“随机变量随机变量”随机变量是定义在样本空间上样本空间上的一个函数函数映射一元硬币，五角硬币定义域定义域随机事件随机事件离散型离散型随机变量：数轴上有限个或无限可列个孤立点连续型连续型随机变量：取值范围为数轴上的连续区间概率分布随机变量随机变量样本空间样本空间定义域内定义域内样本空间子集样本空间子
5、集随机事件随机事件事件发生概率事件发生概率累计概率分布函数，简称分布函数分布函数单调非降函数离散型随机变量的概率分布列概率分布列概率分布连续型随机变量随机事件随机事件概率密度函数概率密度函数分布函数分布函数零概率事件零概率事件若导数存在，则若导数存在，则不可能事件肯定是零概率事件，但零概率事件不一定是不可能事件零概率事件不一定是不可能事件连续变量对应定义区间取值的概率与区间端点的开闭性无关开闭性无关独立同分布若多个随机变量的概率分布函数完全相同分布函数完全相同，且随机变量取值相互独立相互独立，则称其独立同分布独立同分布，简记为i.i.d。对于监督模型监督模型来说，训练数据集和测试数据集被假设满
6、足同一分布，且训练数据集与测试数据集中所有样本均独立地从该分布曲线上采样得到。多维随机变量：定义域、联合分布列、联合累计概率分布函数、联合概率密度函数、联合概率分布函数；边缘分布列、边缘累计概率分布函数、边缘概率密度函数、边缘概率分布函数样本统计量样本空间与随机变量定义域内元素一一对应，对于每次随机试验来说，其取值可能相同也可能不同抽样样本集抽样样本集具体取值具体取值样本统计量反应样本分布特点，在智能分析任务中起关键作用，如中心化、归一化等。观测值观测值样样 本本观测均值观测均值样本均值样本均值Kmeans总体均值总体均值已知样本统计量已知样本统计量样本统计量分分散散程程度度总体方差总体方差观
7、测方差观测方差总体标准差总体标准差样本样本/统计标准差统计标准差样本方差样本方差无偏估计无偏估计样本均值是总体样本均值的无偏估计。随着样本规模逐渐增大，样本均值无限接近总体样本均值。而总体样本均值，即期望，是统计意义上均值，与样本数量无关。离散型所有可离散型所有可能取值能取值样本统计量随机变量的概率方差，即“总体方差”离散型离散型连续型连续型总体总体/概率标准差概率标准差可证明可证明样本统计量由以上定义不难发现，方差用于描述同一随机变量取值相对于期望的分散程度。协方差协方差相互独立相互独立？协方差可用于描述随机变量相关程度。量纲不同在数值上表现出很大差异。皮尔森（Pearson）相关相关系数系
8、数量纲无关系数量纲无关系数0则不相关，但不一定独立样本统计量协协方方差差矩矩阵阵相相关关系系数数矩矩阵阵实对称实对称半正定半正定常见的概率分布二项分布二项分布n=1-0-1分布分布泊松分布泊松分布单位时间内随机事件的平均发生率为a，则t时间内平均发生次数二项分布关注事件总体总体发生发生次数次数，而现实生活中单位时间单位时间内事件发生情况内事件发生情况有时更具指导意义。t 时间内发生次数记作随机变量 X，则常见的概率分布泊松分布用于描述给定时间间隔t内事件发生的次数，若事件连续两次发连续两次发生生的时间间隔定义为随机变量T，则概率分布函数概率分布函数概概率率密密度度函函数数指数分布指数分布指数分
9、布具备无记忆性特征无记忆性特征常见的概率分布指数分布用于解决“给定随机事件连续发生，需要间隔多久”的问题。那么，对于多个随机事件多个随机事件来说，如何求其全部发生全部发生，需要等待多久？伽玛分布伽玛分布常见的概率分布贝塔分布是二项分布的共轭先验分布共轭先验分布高斯高斯/正态分布正态分布标准正态分布标准正态分布实际应用中，假设样本数据服从正态分布，除因正态分布在自然界中普遍存在，以及大数定律和中心极限定理推论之外，正态分布遵循熵最大原理熵最大原理是另一个原因。常见的概率分布拉拉格格朗朗日日乘乘数数法法概率密度概率密度常见的概率分布协方差矩阵协方差矩阵多多元元高高斯斯相互独立相互独立自由度为自由度
10、为n的卡方分布的卡方分布相互独立相互独立可加性可加性常见的概率分布自由度为自由度为n的的t分布分布相互独立相互独立相互独立相互独立自由度为自由度为m,n的的F分布分布均均匀匀分分布布记次试验中事件第一次发生时试验的次数为随机变量几何分布几何分布分位点分位点离散型贝叶斯完备组完备组先验概率先验概率先验概率先验概率后验概率后验概率后验概率后验概率贝叶斯公式贝叶斯公式多条多条件贝件贝叶斯叶斯若事件A与特征向量相对应，事件Bi与某个类别相对应，则类别的后验概率P(Bi|A)（特征向量已知）等于其先验概率与一个调整因子的乘积。这被称作“贝叶斯推断贝叶斯推断”。此调整因子等于特征向量的后验概率P(A|Bi
11、)与其先验概率P(A)的商。贝叶斯决策贝叶斯决策 连续型贝叶斯总体概率密度总体概率密度条件概率密度条件概率密度两种角度两种角度理解连续型贝叶斯公式连续型连续型-离散化处理离散化处理最小错误率贝叶斯样本样本x决策错误概率决策错误概率二类决策决策错误率定义为错误概率的期望期望所有样本被假定独立同分布，概率密度概率密度最小错误率贝叶斯最小错误率最小错误率贝叶斯决策非负实数非负实数错误率最小决策就是后验概率最大后验概率最大决策。将待识别样本归类为较大后验概率的类别。决策规则可以简化为讨论讨论：多分类问题？最小风险贝叶斯最小风险贝叶斯最小风险贝叶斯决策的核心是比较后验概率以决策损失为权重均值后验概率以决
12、策损失为权重均值，也即条件风险值。若识别错误的损失为1，识别正确的损失为0，则最小风险贝叶斯决策就转换成了最小错误率贝叶斯决策。朴素贝叶斯为常数为常数特征属性条件独立特征属性条件独立连续型变量连续型变量的两种处理策略？由样本比例来估计类条件概率，受训练样本集规模及分布影响，鲁棒性较差等效扩大样本数量维度维度d越大，值越小；解决办法？越大，值越小；解决办法？取对数取对数先验估计先验估计参数估计讨论讨论：重要性与意义？用于估计总体样本参数的统计量，称作估计量估计量待估参数待估参数估计值估计值讨论讨论：点估计与区间估计？置信水平置信水平置信区间置信区间区间越小，点估计值稳定性越强；区间越大，点估计值
13、稳定性越差抽样样本量样本标准差 总体标准差样本均值 总体均值标准误差参数估计无偏性无偏性估计偏差估计偏差有效性有效性一致性一致性k阶原点距阶原点距/k阶距阶距1阶距阶距1阶距的平方阶距的平方2阶距阶距可证明，样本k阶矩是总体k阶矩的无偏估计。最小二乘估计讨论讨论：矩阵的逆不存在如何处理？与矩估计不同，最小二乘估计通过最小化预测值与真实值之间的误差，求解最优参数与矩估计不同，最小二乘估计通过最小化预测值与真实值之间的误差，求解最优参数最大似然估计先先 验验似似 然然后后 验验最小错误率贝叶斯决策就是最大后验概率决策，最大化后验概率相当于最大化似然函数样本抽取独立性样本抽取独立性最大似然估计数值下
14、溢数值下溢连续型变量？连续型变量？线性模型线性模型均均 值值方方 差差高斯分布高斯分布最大似然估计和最小二乘估计本质等价最大似然估计和最小二乘估计本质等价最大后验估计最大似然估计认为待估参数虽然未知，但取值固定取值固定。随着样本规模增长，计算代价增长显著最大后验估计最大后验估计能够使得参数值向从训练数据中无法获得的先验偏移。可认为最大似然估计最大似然估计是先验分布为均匀分布的最大后验概率估计。样本量的增加将弱化先验的作用样本量的增加将弱化先验的作用，这与后天学习改变认知不谋而合逐步修正逐步修正贝叶斯估计参数估计问题-贝叶斯决策问题（连续-离散）先验先验概率概率分布密度分布密度风险期望风险期望上
15、式是在所有可能的条件风险的积分，由密度函数与条件风险的非负性，风险期望最小化等价于对所有样本求条件风险最小贝叶斯估计若先验分布和似然函数使得后验和先验分布形式相同，称先验分布和似然函数共轭。正态分布的共轭分布仍是正态分布正态分布的共轭分布仍是正态分布假设检验原假设原假设称,“假设”或“零假设”,一般是想要拒绝的假设,通常为 、备择假设备择假设称,“假设”,一般是想要接受的假设,通常为 、一般地，比较对象为抽样样本检验统计量取值与某一控制阈值或对应总体参数取值例如，由样本观测均值 ，估计总体均值 ，零假设为 ，择备假设为统计推断=参数估计+假设检验对立假设对立假设假设检验弃真与取伪弃真错误弃真错
16、误/第 类错误实际情况下 为真时，仍有可能作出拒绝 假设的决策犯该类错误概率记作取伪错误取伪错误/第 类错误实际情况下 为假时，仍有可能作出接受 假设的决策犯该类错误概率记作拒绝域、临界点、接受域拒绝域、临界点、接受域拒绝域内原假设为真只有很小概率发生越小越不容易推翻原假设制定检验准则时，应尽可能使得以上两类错误概率均较小两类错误概率均较小。不幸的是，抽样样本容量一定时，减少二者中任意一个，另一个发生的概率将增大。增大抽样样本容量是解决这一矛盾唯一有效的方法。假设检验实际应用中，总是控制犯第 类错误的概率，即使其不大于 ，这种检验方法称作“显著性检验显著性检验”，控制参数 ，称作“显著性水平显
17、著性水平”，称作“置信置信水平水平”犯第 类错误的概率只取决于拒绝域拒绝域，不依赖于样本显著性水平 越小，犯第 类错误的概率越小评价由给定样本拒绝原假设犯错的概率拒绝原假设犯错的概率出现与样本相同或者更极端情况的概率离散型连续型假设检验双侧检验与单侧检验双侧检验与单侧检验若备择假设没有方向性的检验方式，即形式为 ，则称为“双侧检验”，对应的备择假设，称作“双侧备择假设”若备择假设带有方向性，即形式为 ，则称该类备择假设为“单侧备择假设”。基于此假设条件的假设检验方法，称作“单侧检验”。具体地，前者称作“左侧备择假设”对应检验称作“左侧检验”；后者称作“右侧备择假设”对应检验称作“右侧检验”假设检验代表性检验统计量与方法 检验检验给定随机变量 ，若方差 已知，假设其均值为 ，并用检验统计量 来确定拒绝域的检验方法 若此时零假设为真，由 可得 检验检验方差 未知时，由于样本方差 是总体方差 的无偏估计，故用 代替 ，定义 为检验统计量。由于 ，当观测值 大于指定阈值参数 的概率大于等于显著性水平 时，拒绝零假设假设检验代表性检验统计量与方法 检验检验给定随机变量 ，若均值与方差均未知，假设其方差为 。由于 是 的无偏估计，故当零假设为真时，观察值 与 的比值接近于1。于是，定义检验统计量 来确定拒绝域。由于该检验统计量 服务分布参数为 的 分布，即 。故此时的假设检验称作“检验”。
