riff + diffusion 是 stable diffusion 的微调模型,以生成频谱图图像来转换音乐。能产生更精准的声音模型叫:Riffusion。
图源:riffusion 官网
频谱图是音频声波的视觉表示,就像某人唱歌或说话一样。在音频频谱图中,声音被表示并映射到图形上。X轴是持续时间,Y轴是声音的频率。每个频率都可以有一个时间标识,并由像素的颜色表示,从而给出振幅。stable diffusion 使用短时傅里叶变换( STFT )计算频谱图图像,STFT使用不同相位和振幅的一系列正弦波近似声音。STFT 表示本地信号随时间变化的频率和相位,可以计算、反转这些信号变化,然后在频谱图中显示。模型使用一种称为 Griffin-Lim 的特殊算法来近似相位偏移,生成频谱图,并在 AI 系统中进一步将其下游转换为音频。也可以将 stable diffusion 的创建条件设置为文本和图像一起使用。模型可以在长时间回放以及剪辑时无限移动,或者作为实时频谱图生成的歌曲,直到你得到一首从头到尾听起来流畅的歌曲为止。Riffusion 的出现让每一个人都有机会体验一把小小的音乐创作瘾,不需要斥巨资购入一堆乐器也能做出一条属于自己的流畅 bgm。
虽然 Riffusion 无法代替音乐人的创作,但对于从事音频工作的人来说却是省时省力的好帮手。
github.com/hmartiro/ riffusion-inference
本站仅提供存储服务,所有内容均由用户发布,如发现有害或侵权内容,请
点击举报。