如何使用Python提取视频的关键帧？

在很多场景下，我们不想或者不能处理视频的每一帧图片，这时我们希望能够从视频中提取出一些重要的帧进行处理，这个过程我们称为视频关键帧提取。

关键帧提取算法多种多样，如何实现主要取决于你对于关键帧的定义。

也就是说，对于你的实际应用场景，视频中什么样的图片才算是一个关键帧？

今天我实现了一种比较通用的关键帧提取算法，它基于帧间差分。

算法的原理很简单：我们知道，将两帧图像进行差分，得到图像的平均像素强度可以用来衡量两帧图像的变化大小。因此，基于帧间差分的平均强度，每当视频中的某一帧与前一帧画面内容产生了大的变化，我们便认为它是关键帧，并将其提取出来。

算法的流程简述如下：

首先，我们读取视频，并依次计算每两帧之间的帧间差分，进而得到平均帧间差分强度。

然后，我们可以选择如下的三种方法的一种来提取关键帧，它们都是基于帧间差分的:

1. 使用差分强度的顺序

我们对所有帧按照平均帧间差分强度进行排序，选择平均帧间差分强度最高的若干张图片作为视频的关键帧。

2. 使用差分强度阈值

我们选择平均帧间差分强度高于预设阈值的帧作为视频的关键帧。

3. 使用局部最大值

我们选择具有平均帧间差分强度局部最大值的帧作为视频的关键帧。

这种方法的提取结果在丰富度上表现更好一些，提取结果均匀分散在视频中。

需要注意的是，使用这种方法时，对平均帧间差分强度时间序列进行平滑是很有效的技巧。它可以有效的移除噪声来避免将相似场景下的若干帧均同时提取为关键帧。

这里比较推荐使用第三种方法来提取视频的关键帧。

源码下载地址：

https://github.com/monkeyDemon/AI-Toolbox/tree/master/preprocess%20ToolBox/keyframes_extract_tool

最初的代码来自于这里：

https://blog.csdn.net/qq_21997625/article/details/81285096

但是其代码本身有些问题，在读取超过100M的视频时程序会出现内存溢出的错误，因此我对其进行了优化，减去了不必要的内存消耗。

在 精灵宝可梦的一个经典片段中 进行了实验，平滑后的平均帧间差分强度如下图所示：

img01

提取的部分关键帧如下所示:

img02

效果还不错吧~

我这里仅仅是对视频关键帧提取的方法进行了简单的探索，最终得到的效果也满足了我实际工作的需要。如果您对视频关键帧提取领域很了解，或者了解其他更好的方法，期待与您交流~