Riffusion

3年前发布 31,014 00
收藏 0

AI生成不同风格的音乐

收录时间：
2023-04-19
打开网站手机查看
RiffusionRiffusion
Riffusion打开网站

网站介绍

AI 绘图 Stable Diffusion 着实是火了一把，只需要提供所需要的提示词，它就可以生成近似的图片。最近，这种技术也应用在了音乐生成领域 — Riffusion 是一款新的 AI 项目，它建立在最近兴起的AI绘图的基础上，但将其应用于声音。
Riffusion-1
Stable Diffusion 通过从随机噪点开始，并将随机图像与与提示词匹配的图像索引进行比较来实现图片的生成。应用程序选择其索引中与提示词匹配或接近的图像质量最接近的图像，然后重复此过程。每次迭代时，图像的质量越来越接近具有所需标签或文本提示的图像。
Riffusion-2
Riffusion的工作方式是首先构建一个索引的频谱图集合，每个频谱图都标有代表频谱图中捕获的音乐风格的关键字。一旦在此频谱图主体上进行训练，该模型就可以使用与 Stable Diffusion 相同的方法，干预噪声以获得与文本提示匹配的声波图具有相似质量的声波图像。
Riffusion-3
如果你的需求是 “摇摆小号爵士”，它将生成一个类似于与提示词相匹配的声波图。然后，应用程序将超声波图转换为音频，这样你就可以听到结果。
目前 Riffusion 得出的结果还很粗糙，但它确实证实了该过程确实能够产生与文本提示匹配的原始音频。目前该技术主要受限于声波图样本的数量较小，而用于图像的 Stable Diffusion 可是使用了 2.3 亿个图像进行训练。不只是数量，Riffusion 还会受到频谱图分辨率的限制，频谱图只能产生比较低保真的音频质量。
目前来看，该技术还无法在不久的将来使用人工智能产生任何传统音乐，因为这个过程没有考虑形式。音乐是声音的想法，可以及时组织以创造出的艺术结果。
不过，这种方法显示了 AI 的潜力。目前，它的任务是生成令人不安的样本素材 — 类似于 AI 图像生成的方式，即使在 6 个月前，也仅限于生成令人毛骨悚然的图像。这表明，凭借更大的数量和更高分辨率的频谱图，人工智能音频生成可能会在明年实现类似的质量飞跃。
打赏微海报分享

相关导航

暂无评论

您必须登录才能参与评论！
立即登录
none
暂无评论...
知客驿站
知客驿站

热门网址

标签云

网址

日榜周榜月榜
Saylo

Saylo

Saylo是一款由元象XVERSE开发的AI聊天工具，它以AI角色扮演游戏应用为核心，支持用户创建和定制AI角色，体验丰富的剧情互动。每天提供有限的免费聊天次数，还支持中文语言，快来加入这个沉浸式的虚拟世界吧！
阿里云开发者社区

阿里云开发者社区

阿里云推出的人工智能学习路线（学+测）
MX动漫

MX动漫

MX动漫提供最新最快的在线观看动漫番剧资源，在线观看完全免费、无须注册、高速播放、更新及时的专业在线动漫网站，是樱花动漫外最好打的备用动漫网站。
咖喱君的资源库

咖喱君的资源库

好资源不私藏
每日书单

每日书单

每日书单网，每天推荐100部优质电子书,搜书网电子书搜索引擎专注于电子书类型网站数据整理和收录,为书友提供一站式搜索,节省大量时间成本!
喵物次元

喵物次元

喵物次元是一个专注于日本动漫的综合平台，汇集丰富的番剧资源，以超快的更新速度满足日漫迷的需求。无论你是新手还是资深爱好者，喵物次元都将带你进入一个充满精彩的日漫世界。立即加入我们，探索属于你的喵物次元之旅吧！
奈飞工厂

奈飞工厂

奈飞工厂是一个国内免费 Netflix 影视网站
第一试卷网

第一试卷网

第一试卷网免费提供试卷、试题、练习题、单元卷、月考卷、期末期中等试卷相关资源下载服务。
FREE OK

FREE OK

一个可以免费看电影、电视剧、动漫、综艺的网站
Unscreen

Unscreen

在线视频去背景神器！AI视频全自动抠图去背景
查看完整榜单