打开APP
未登录
开通VIP,畅享免费电子书等14项超值服
开通VIP
首页
好书
留言交流
下载APP
联系客服
AI助力短视频创作
Mixlab交叉学科
>《待分类》
2020.11.07
关注
hi,大家好~我是shadow,一枚设计师/全栈工程师/算法研究员,目前主要研究方向是人工智能写作和人工智能设计,当然偶尔也会跨界到人工智能艺术及其他各种AI产品。
文末了解《人工智能Mix》
AI不仅可以帮我们创作文章,做设计,还可以完成短视频创作。本文主要从大数据分析、视频理解、视频创作三个方面介绍AI应用在视频的前沿进展。
- 大数据分析电影
这是来自于Moviescope数据集所介绍的方法,作者探索了多模态电影的特征表示,使用CNN(VGG16)从单个电影的图片帧中提取特征表示(Video Representation - fastVideo),使用词嵌入从文本中提取特征表示( Text Representation - fastText),使用基于谱的特征进行音频表示,然后使用池操作聚合这些特征。对于元数据,使用随机林分类器。
实验结果:
- 视频理解
主要是场景检测、自动切割、景深等任务。
- pyscenedetect 开源库
可以用来做视频摘要,自动剪辑之类的。
项目地址:
https://pyscenedetect.readthedocs.io/en/latest/examples/usage-example/pyscenedetect.readthedocs.io
- AutoFlip 开源库
谷歌开源的 AutoFlip 可以实现自动剪辑,包括视频尺寸裁切、精彩内容自动化提取等。
项目地址:
https://github.com/google/mediapipe
- monodepth开源库
可以用来预测景深
项目地址:
https://github.com/nianticlabs/monodepth2
- 视频创作
- 自动插帧
2019年,英伟达开源了Super SloMo,从普通的视频“脑补”出高帧率的画面,从30fps插帧到240fps,即使放慢8倍也不会感到卡顿。最近,上海交大的一个新的插帧算法
DAIN
开源。它比英伟达的算法效果更清晰、帧率更高。
项目地址:
https://github.com/baowenbo/DAIN
- 输入文本,生成视频
谷歌的VideoBERT,不需要标注数据,采用无监督学习的方式直接从视频中学习。
作者借鉴了NLP中十分成功的 BERT 模型,在它的基础上进行改进,从视频数据的向量化和视频语音识别输出结果分别提取视觉和语言的特征,然后在特征序列上学习双向联合分布。
类似的研究还有ViLBERT:为视觉 - 语言任务训练非任务专用的视觉语言表征,百度也有类似的论文。
本站仅提供存储服务,所有内容均由用户发布,如发现有害或侵权内容,请
点击举报
。
打开APP,阅读全文并永久保存
查看更多类似文章
猜你喜欢
类似文章
【热】
打开小程序,算一算2024你的财运
推荐几款堪称神器的AI图片无损放大缩小工具!
马维英:从结绳记事到超级智能,AI Era保持竞争力的5大优势
2019世界人工智能大会田永鸿:视频大数据挑战问题与研究进展
AI音乐的“原创”激辩
AI作曲的诺亚方舟将去往何处
AIGC,代表着AI技术向创造力的跃迁
更多类似文章 >>
生活服务
热点新闻
留言交流
回顶部
联系我们
分享
收藏
点击这里,查看已保存的文章
导长图
关注
一键复制
下载文章
绑定账号成功
后续可登录账号畅享VIP特权!
如果VIP功能使用有故障,
可点击这里联系客服!
联系客服
微信登录中...
请勿关闭此页面
先别划走!
送你5元优惠券,购买VIP限时立减!
5
元
优惠券
优惠券还有
10:00
过期
马上使用
×