ローカルで音楽を作る。ACEStep 1.5を本気で試したら詰まって、直して、驚いた

「AIで音楽が作れる」という触れ込みのツールは、もう数え切れないほど出てきた。クラウドで動くものがほとんどで、月額を払えば生成し放題、無料枠を使い切ったら待て——という構造が多い。

BlogGemini 3.1フィーバーの陰で、Googleがひっそり仕込んでいたもの——Lyria 3「画像から音楽生成」を実際に触ってみたGemini 3.1が注目を集める2月、Googleはもうひとつの新機能をひっそりリリースしていた。AI音楽生成「Lyria 3」——桜と懐中時計の写真から「Two Rings Forever Yours」が生まれるまでを実体験レポート。ベストプラクティスからWorkspaceユーザーの制限まで徹底解説。→を試したときも同じ印象だった。クオリティは確かに高い。でも「自分のGPUで、制限なく、何度でも」という感覚はない。

ACEStepはそこが違う。オープンソース、ローカル動作、無料。気になっていたので本腰を入れて試した。

Stepping Stone Labsが開発したオープンソースの音楽生成AI。バージョン1.5では「5Hz LM」という言語モデルが追加され、歌詞を渡すと構造（BPM・キー・尺）を自動推定してから音楽を生成する仕組みになった。

入力するのは2つだけ。

• 音楽キャプション（スタイルタグ）: jpop, female vocal, piano, emotional のような自由記述
• 歌詞（任意）: [verse] [chorus] の構造タグ付きテキスト

歌詞なしでもインスト曲が作れる。歌詞を入れると、それに合わせたボーカル付きの楽曲が生成される。これが最大の特徴だ。

手元のAIサーバー（RTX 4070 Ti 12GB）に既にインストール済みだったので、起動から始めた。uv を使ったパッケージ管理で、初回以外は start_gradio_ui.sh を叩くだけでGradio UIが立ち上がる。

UIは日本語表示に対応していて、「音楽キャプション」「歌詞」「インストゥルメンタル」と並ぶシンプルな構成だ。モードは Simple / Custom / Remix / Repaint の4種。今回はCustomを使った。

ComfyUIと同居しているサーバーだったので、起動前にComfyUIを落としてVRAMを12GB近く空けた。起動後のログを見ると、モデルのロード構成はこうなっていた。

DiT model: acestep-v15-turbo      → cuda (persistent)
5Hz LM:    acestep-5Hz-lm-0.6B   → CPU offload (auto)
VAE:       on-demand CUDA swap
text_encoder: on-demand CUDA swap
KV cache: 1.18GB

12GBのGPUに対して「20GB未満はCPUオフロード自動有効」という判定が入り、モデルが都度swapされる設計になっている。

プロンプトを入れて生成ボタンを押すと、エラーで落ちた。

RuntimeError: Offset increment outside graph capture encountered unexpectedly.

ログを追うと、5Hz LMが nanovllm 経由でCUDA graphをキャプチャした後、PyTorchの torch.multinomial がグラフ外で呼ばれて死んでいる。環境変数でCUDA graphを無効化しようと2〜3種類試したが、どれも効かなかった。

ここでClaude Codeにログを渡して聞いた。正直に言うと、自分でコードを読んで特定できたかは微妙なところだった。

返ってきた答えは「llm_inference.py の564行目、1行変えてください」。

# 変更前
enforce_eager_for_vllm = bool(is_rocm)  # ROCMのみTrue

# 変更後
enforce_eager_for_vllm = True  # CUDA graphキャプチャを無効化

変えたら動いた。所要時間5分。torch 2.10とnanovllmの組み合わせで起きる互換性バグで、NVIDIA環境でも enforce_eager=True が必要だったというだけの話だ。

修正後、4種類のプロンプトで生成した。1回の生成でサンプルが2本出る（seed値が別々）ので、毎回2択で選べる。

J-Pop：日本語歌詞を歌わせてみる

キャプション: jpop, female vocal, piano, strings, emotional, ballad, slow

歌詞は夜の街をテーマにした日本語の4セクション構成を渡した。LMが推定した結果がこれ。

2分半近い楽曲が、2秒で生成された。歌詞のタイミングも概ね合っていて、日本語がちゃんと「歌われている」。

修正前は vocal_language: unknown のまま生成していたので、歌詞を読み飛ばしたり発音が崩れる問題があった。LMが動くようになったことでBPM・タイミング・構造が正確になり、発音が大幅に改善した。ログ上は今もunknownだが、構造が合えばここまで歌えるという発見だった。

Lo-fi Hip-hop：インスト・速度テスト

キャプション: lofi, hiphop, chill, rainy night, jazz samples, vinyl crackle, mellow beats, 75bpm 歌詞: なし

J-Popより約0.8秒速い。歌詞のembedding処理が省かれる分だけ速くなる。

指定が75bpmなのにLMが34bpmと判断した点は面白い。「LofiはハーフタイムのBPMで考える」という解釈をしたらしい。実際に聞くとテンポ感はLofiとして自然だった。

Rock：英語歌詞

キャプション: rock, male vocal, electric guitar, heavy drums, aggressive, stadium rock, energetic

英語の反骨精神をテーマにした歌詞を渡した。

英語は vocal_language: unknown でも発音が自然だった。英語が学習データの主体なので、unknownでもほぼ英語として処理される。ギターのアグレッシブさも指定通りで、サビで音が厚くなる展開も出た。

Ambient：ヒーリング系インスト

キャプション: ambient, atmospheric, forest, morning, birds, light piano, slow evolving, peaceful, 60bpm

0.59秒。これが一番速かった。尺が48秒と短かったこともあるが、インストでシンプルなタグ構成なら生成は一瞬だ。

出てきた音は、医院や待合室で流れていても違和感のないヒーリング系だった。ピアノと環境音が重なる静かな仕上がりで、これが0.59秒で出てくるのはさすがに驚いた。

VRAM使用量は生成中に最大8.10GBだった。12GBカードで動かす分には余裕がある。

クラウドサービスと比較したときのACEStepの立ち位置は明確だ。

クラウドの方が手軽なのは事実だ。ACEStepはセットアップが必要で、LMのバグを自分で直す場面もある。その代わり、制限なく使い続けられる。

GPUのVRAM要件はGPUランキングで各モデルのスペックを確認できる。最低8GB、快適に動かすなら12GB以上を目安にしていい。

使える。ただし「誰でも即使える」ではない。

セットアップの手間、環境依存のバグ対処、日本語発音の調整——これらを受け入れた上で使うものだ。その引き換えに、制限なく、自分のGPUで、著作権を気にせず音楽を生成できる。

日本語対応は「ほぼいける」レベルだった。完璧ではないが、歌詞の意図は伝わる仕上がりになった。ここまで来るとは思っていなかった。

4ジャンル試した中で一番印象に残ったのはAmbientだ。「医院の待合室で流れていても違和感ない」という感想が自然に出る音が、0.59秒で生成される。これを「すごい」と言っていいのかどうか、少し考えてしまった。

すごいのは間違いない。ただ、自分でそれを口にすることに、どこか慣れてしまっている自分もいる。AIに驚き続けている間に、驚く感覚が少しずつ摩耗してきた。これが続くのだとしたら、それはそれで奇妙な時代だ。

情報の鮮度: この記事は2026年3月時点の情報をもとに執筆しています。ACEStep 1.5使用、RTX 4070 Ti 12GB環境での検証です。

HW系エンジニアとして20年以上、10,000件を超える顧客訪問と2,000件を超える単独ソリューション実績。AIツールを使った個人開発やIoT農園など、Raspberry Piを使ったオートメーション化なども実践中です！エンジニア専門結婚相談所も運営中、ClaudeCodeで解決できない心の課題も解決いたします！

• 実際の構成を探すなら、GPU 比較ページやローカルLLM向け構成記事もあわせて見ると判断しやすいです。
• ハードウェア候補は用途別の AI 構成ガイドからたどると、単体製品より違和感なく検討できます。