【MusicLDM】盗作のリスクが低いText-to-Musicモデル
【MusicLDM】盗作のリスクが低いText-to-Musicモデル
Diffusion Model
音声認識
【AudioLDM】Latent Diffusionを用いたText-to-Audioの生成モデル
【AudioLDM】Latent Diffusionを用いたText- ...
Diffusion Model
【CoDi】ほぼ全てのモダリティを扱えるAny-to-Anyの拡散モデル
【CoDi】ほぼ全てのモダリティを扱えるAny-to-Anyの拡散モデ ...
Diffusion Model
【CLAP】音声とテキストの対照学習モデル
【CLAP】音声とテキストの対照学習モデル
Contrastive Learning
【Brain2Music】脳の情報をもとに音楽を自動生成
【Brain2Music】脳の情報をもとに音楽を自動生成
Large language models
【LP-MusicCaps】LLMを用いた音楽キャプションの自動生成
【LP-MusicCaps】LLMを用いた音楽キャプションの自動生成
Contrastive Learning
【MuLan】対照学習を利用したMusic-Textのマルチモーダル
【MuLan】対照学習を利用したMusic-Textのマルチモーダル
Contrastive Learning
【MusicLM】Googleが開発したText-to-Musicの生成モデル
【MusicLM】Googleが開発したText-to-Musicの生 ...
Transformer
【Make-An-Audio】音声生成のためのプロンプト強化拡散モデル
【Make-An-Audio】音声生成のためのプロンプト強化拡散モデル
Diffusion Model
テキスト・音声・視覚からマルチモーダルに感情を認識: Sonyが提案したM2FNet！
テキスト・音声・視覚からマルチモーダルに感情を認識: Sonyが提案し ...
Emotion Recognition
異なる解像度の特徴をどう結びつけるべきか？：Sonyが提案したD3Net
異なる解像度の特徴をどう結びつけるべきか？：Sonyが提案したD3Ne ...
CVPR
少ない計算リソースで動かすText to Speech手法
少ない計算リソースで動かすText to Speech手法
NAS
音声のみから発話者に似た顔の3Dメッシュが生成できる！？
音声のみから発話者に似た顔の3Dメッシュが生成できる！？
3D
動画の登場人物の顔の動きを任意の感情に合わせて編集する手法が登場！
動画の登場人物の顔の動きを任意の感情に合わせて編集する手法が登場！
CVPR
音声からよりリアルな顔の3Dアニメーションの生成が可能に！
音声からよりリアルな顔の3Dアニメーションの生成が可能に！
3D
スピーチに応じた上半身のジェスチャーを自動で生成するモデル、FreeMoが登場！
スピーチに応じた上半身のジェスチャーを自動で生成するモデル、FreeM ...
Speech Synthesis
爆速・低消費電力で深層学習もグラフ探索も条件付き最適化も行える？！脳型計算機の定量的実力
爆速・低消費電力で深層学習もグラフ探索も条件付き最適化も行える？！脳型 ...
survey
ついに皮肉なセリフを理解し、説明文を生成できるAIが登場！
ついに皮肉なセリフを理解し、説明文を生成できるAIが登場！
natural language processing