数码 2020-09-12 19:301858阅读 · 34喜欢 · 29评论
Lee-7723粉丝：1853文章：13
关注
机器学习类（Machine Learning）：
1、DAIN-APP
DAIN（Depth-Aware Video Frame Interpolation）这个项目的原作者是上海交大的baowenbo（https://github.com/baowenbo）做出的算法。我去简单翻了翻，这位大佬的一系列项目都是关于图像处理的，有一些与视频帧率相关（https://sites.google.com/view/wenbobao/home）。除了DAIN这个之前比较火的项目，还有一个MEMC-net，DAIN中有一部分是基于这个项目的。
特点：
从题目中能看出来，检测图像深度，因此比较根本地解决了插帧普遍出现的伪影问题，所插的帧相对比较准确，DAIN-APP这个软件主要是集成GUI和FFmpeg。算法本身主要注重质量，而软件主要注重实用性，因为要分析整张图像，因此占用显存很大，DAIN-APP可以进行图像分块分析。DAIN-APP这个软件本身因为有GUI所以简单易上手，只需要等着就好了，DAIN这个算法如果要自己训练的话，那么请大佬移步GitHub
缺点是容易爆显存，需要调整好分块；另外在普通PC上计算速度极慢，算法基于Cuda和CuDNN，因此显然只有N卡才可用，如果移植到其他平台也是不如N卡方便。就算是DAIN-APP再怎么优化，也是有一个瓶颈的。从我的实际体验看，2070给1080P视频每两帧之间插帧需要大约2分钟，另外新的帧有一些颜色不太对
算法要求总的来说，我觉得算法优秀是真的优秀，但是个人如果用的话，这个质量和时间实在是不成比例。如果你想来一次紧张刺激的显卡终极挑战赛，欢迎来用这个东西作为benchmark工具（狗头），不过真有这个算力和时间的话，为什么不去给World Community Grid为世界做点贡献呢？30系显卡已经有了，大家离用优质算法补帧的梦想又近了一步。
2、NVIDIA Super Slomo
英伟达的一个后期慢放项目，算法效果：https://www.youtube.com/watch?v=MjViy6kyiqs。民间项目：https://github.com/avinashpaliwal/Super-SloMo/
这个项目我前前后后搜了很多，最终在NVIDIA Developer官网上找到了这个项目https://developer.nvidia.com/rtx/ngx（应该是），需要注册NVIDIA Developer进入Early Access Program，详细说明请见
这篇专栏。
大显存下的快速优质补帧方案（NV NGX SDK）写这篇专栏主要是因为。。。。。。网盘链接我自己总是找不到，所以放专栏里就好找了~https://cloud.189.cn/t/v6nmaebIzyIz（访问码：ae44）先来点诱人的gif 视频：https://www.youtube.com/watch?v=MjViy6kyiqs英伟达的项目网站https://developer.nvidia.com/rtx/ngx 这里有相关用法说明（包括本例子的简单说明）和完整的项目代码，可以用其他数据集自己训练AI模型源码里提供了一个样例，是一个写好的文章Lee-77...4451511大致效果请见
这个视频01:27Pr光流法和NV Super Slo Mo的慢放和补帧对比 1285 10视频Lee-7723这个项目虽然都是源码阶段，但是实际上NGX SDK中提供了一个成型的VS 2017项目，如果不需要自己训练模型的话只需要一键编译就可以用了。
特点：
优点是处理速度较快，效果好，操作简单
缺点是处于开发期，只注重质量，没打算给普通人用，因此没有任何优化。它因为要对整幅图像进行分析，因此很轻易就会爆显存（CUDA 2 Error），DAIN-APP做了个分块分析的优化，减少了显存占用，如果有大佬能给这个东西写个分块处理，应该是很香的。8G或者11G显存基本只能给540P（1080P的四分之一大小）两帧之间差两帧，论坛中的问答里有人提到了多显卡的情况，开发者的回答里看得出来用的可能是RTX8000，因此分辨率是这个方法的最大硬伤。不要想着自己手动把视频切块，然后分别处理，合不到一起去的（狗头）。这个项目我记得开始时候还没有发布RTX系列，但是NGX要求只有RTX卡才能用，难不成是销售部门的神操作？
光流法类（Optical Flow）：
3、Pr Optical Flow
本质上是Pr用来处理导入素材与所需帧率不同或者因为速度拉伸带来的帧时间错位用的，不过没人规定怎么用吧，那就可以拿来补帧！这大概是大家最喜闻乐见的补帧方法了，零门槛。
特点：
优点是兼容性极强，基本只要能用Pr就能补，易上手
缺点是这个东西毕竟不是为了23.976->60而生，因此它只会很规矩地分析相邻两帧，也就导致了镜头场景切换处的坏帧，检测转场并不是难事，x264编码器都有这功能，只是Pr没想往这方面优化而已。关于只能到60帧的问题嘛，想解决怎么都能解决。最直白的办法就是假如想补到120帧，就0.5倍速以60帧导出，再不丢帧2倍帧速率编码
4、Twixtor插件
没正经用过，目的是替代Pr的光流法，应该是比Pr光流效果好的吧。占个位置不做过多评论
5、SVP（Smooth Video Project）
引用官网中的一段话：SVP 使用与高端电视和投影仪相同的帧差值技术（参见 “TrimensionDNM”、”Motion Plus”、”Motionflow” 等）。该技术通过在现有帧之间创建中间动画帧以提高帧速率，从而产生非常平滑、流畅以及清晰的运动效果。
如何“优雅”使用SVP4 Pro进行补帧（仍可用madVR转映射）写在前面： $19.99 once and for all，有能力者请支持正版，有你们的支持才能有SVP不断的更新进步~（或者去支持一下DimitriRender等其他补帧项目） 本文纯属野生技术，会有许多不严谨之处，欢迎指正和讨论技术for just $25, you can get these privileges大致实现思路：（可以直接往下翻看真正实现操作，但是了解大致原理DIY更方便）滤镜工作列表那么既然ffdshow会导致HDR元数据信息出现问题，那么思路就是走另一条路绕开文章Lee-77...71794469如果想实时补帧的话建议安装的时候安装svp提供的mpv，省心，不用过多配置
特点：
优点是定位比较明确，要做一个视频流处理器，可以做到实时运算，兼容性较好，可以检测转场避免坏帧，可调节性很强（如动作幅度大的地方用帧混合方式），可玩性高，SVPcode可以直接生成高帧率的视频文件，有GUI操作简单，配合Vapoursynth或者AviSynth补帧是我的最爱
缺点是，可以实时运算意味着计算时间不充足，意味着算法相对简单一些。上手相对困难（买正版就不难了|狗头）。最新版svpflow插件需要主软件在后台运行，也就不好破解或者单独使用
6、MVTools插件
配合AviSynth或者Vapoursynth，在看svp的svpflow plugin（https://www.svp-team.com/wiki/Manual:SVPflow）的时候发现的（http://avisynth.org.ru/mvtools/mvtools2.html），打算最近试试，不做评论。应该还有很多avs或者vs相关插件，希望压制大佬补充。
7、NVIDIA Optical Flow SDK
（https://developer.nvidia.com/opticalflow-sdk）应该是和AMD的AFM一样的存在，但是并没有官方给出接口来。不过这个SDK貌似只有新版SVP在用，因为买不起SVP4Pro，所以不做评论
8、AMD Fluid Motion Video
算上Bluesky Frame Rate Converter，没钱买A卡，占个位置，不做评论
运动补偿类（Motion Estimation and Motion Compensation|MEMC）：
大部分都是硬件厂商出厂自带，比如索尼等一些电视的MEMC，一加、vivo等手机的MEMC
没钱，所以一个都没体验过，不做过多评论。
假补帧：
帧混合、帧采样
如果帧混合还算有新的帧的话，帧采样就是糊弄人了
本文由一个菜鸡的野生压制爱好者写出来，术语啥的无准确度可言，大部分只是根据个人体验得出，信息可能不对应，看看就好
蹲个大佬来挑错。如果你觉得这篇文章还能看，不求赞币，但求转发分享
本站仅提供存储服务，所有内容均由用户发布，如发现有害或侵权内容，请
点击举报。
