riff + diffusion 是 stable diffusion 的微调模型，以生成频谱图图像来转换音乐。能产生更精准的声音模型叫：Riffusion。
图源：riffusion 官网
频谱图是音频声波的视觉表示，就像某人唱歌或说话一样。在音频频谱图中，声音被表示并映射到图形上。X轴是持续时间，Y轴是声音的频率。每个频率都可以有一个时间标识，并由像素的颜色表示，从而给出振幅。stable diffusion 使用短时傅里叶变换（ STFT ）计算频谱图图像，STFT使用不同相位和振幅的一系列正弦波近似声音。STFT 表示本地信号随时间变化的频率和相位，可以计算、反转这些信号变化，然后在频谱图中显示。模型使用一种称为 Griffin-Lim 的特殊算法来近似相位偏移，生成频谱图，并在 AI 系统中进一步将其下游转换为音频。也可以将 stable diffusion 的创建条件设置为文本和图像一起使用。模型可以在长时间回放以及剪辑时无限移动，或者作为实时频谱图生成的歌曲，直到你得到一首从头到尾听起来流畅的歌曲为止。Riffusion 的出现让每一个人都有机会体验一把小小的音乐创作瘾，不需要斥巨资购入一堆乐器也能做出一条属于自己的流畅 bgm。
虽然 Riffusion 无法代替音乐人的创作，但对于从事音频工作的人来说却是省时省力的好帮手。
github.com/hmartiro/ riffusion-inference
本站仅提供存储服务，所有内容均由用户发布，如发现有害或侵权内容，请
点击举报。
