大模型开发 - 一文搞懂人工智能数学基础（下）：概率论

不懂概率论，何以寻找模型最优参数？

本文将从贝叶斯统计、马尔可夫链、回归分析三个方面，带您一文搞懂人工智能数学基础（下）：概率论。

概率论

一、贝叶斯统计

频率学派与贝叶斯学派：频率学派侧重通过大量数据推断概率，强调客观频率；而贝叶斯学派则基于先验知识，通过新数据更新概率，强调主观信念的更新。

频率学派与贝叶斯学派

频率学派：世界是客观的，概率是事件在长时间内发生的频率。必须通过大量独立采样来获得统计均值。不主张先给出一个主观的先验概率或假设。

古典概率模型

概率的古典定义

贝叶斯学派：概率是一种信念度，可以有主观的先验概率。通过观察新的数据来不断更新先验概率，使之逼近客观事实。

贝叶斯算法

条件概率：在事件A发生的条件下，事件B发生的条件概率。

条件概率的定义

条件概率的计算公式

全概率公式：计算一个事件发生的总概率的方法，它通过将事件划分为若干个互斥的子事件，并计算这些子事件的概率和条件概率的乘积之和来得到。

全概率公式

贝叶斯公式：贝叶斯公式是用于更新某个事件在给定新证据下的概率的工具，它结合了先验概率和条件概率来计算后验概率。

贝叶斯公式

二、马尔可夫链

马尔可夫链：描述状态空间中从一个状态到另一个状态转换的随机过程，其下一状态的概率分布仅由当前状态决定，具有无记忆性。

马尔可夫性质

马尔可夫链的核心逻辑，未来只与现在有关，而与过去无关。

隐马尔可夫模型（HMM）：一种强大的统计工具，通过描述隐藏的马尔可夫链和观测序列之间的关系，其核心组成部分包括隐藏状态、观测序列以及相关的概率分布和矩阵。

隐马尔可夫模型（HMM）

转移矩阵和转移图：转移矩阵是二维数组，明确状态间转移概率；转移图直观展示状态转移关系，便于理解和分析。

转移矩阵：是一个二维数组，其中每个元素表示从一个状态转移到另一个状态的概率。

转移矩阵

转移图：是一种可视化工具，用于直观地展示状态之间的转移关系。

转移图

三、回归分析

一元线性回归分析：一种通过单一自变量来预测因变量变化的统计分析方法，旨在找出两者之间的线性或非线性关系。

一元回归分析定义

一元线性回归模型：通过单个自变量预测因变量，并假设两者之间存在线性关系的数学模型。

一元线性回归模型

a, b是两个待定参数，a称为截距(intercept)，b称为回归系数(coefficient)，也就是数学中直线的截距；J称为损失函数(lost function)。一元回归分析就是要寻找合适的参数a, b，使得损失函数最小。

求解参数a,b：

多元线性回归分析：利用多个自变量来预测因变量，并假设它们之间存在线性关系的统计分析方法。

数据集：包含一组相关数据的集合

数据集

回归方程：程描述了因变量与自变量之间的数学关系

回归方程

损失函数：用于衡量模型预测值与真实值之间的差异

损失函数

本站仅提供存储服务，所有内容均由用户发布，如发现有害或侵权内容，请点击举报。