ElevenLabs v4、10秒の録音で声を複製　90言語を話すAI音声

ElevenLabsが「Eleven v4」を公開した。文章を読み上げる音声合成モデルで、書き手が指定すれば、笑い声やため息、怒ったフランス語訛りまで表現できる。インスタント音声クローンに必要なのは、留守番電話のメッセージより短い録音だけ。複製した声は、もとの声質を保ったまま数十の言語を話せる。無料のElevenLabsアカウントがあれば、誰でも利用可能だ。

音声コンテンツを制作する人にとって、作業時間を丸一日単位で削れる機能だ。ポッドキャスターは自分の声でエピソードを日本語に吹き替えられるし、インディーゲームの開発者はスタジオを予約せずに、端役の一人ひとりに違った話し方を与えられる。オーディオブックのナレーターなら、台本に間やくすくす笑う声をそのまま書き込める。一方で、懸念も具体的だ。ボイスメッセージやビデオ通話の切り抜き、SNSの公開投稿から数秒分の音声を取るだけで、本人そっくりの声を作れるようになった。

大きく変わったのは演出の自由度だ。音声クローンの作成に必要なのは、わずか10秒の音声。従来のElevenLabsモデルは文章を滑らかに読み上げる一方、感情表現は推測に頼っていた。バージョン4では、[laughs]や[said angrily in French accent]のような演技指示を角括弧で文章中に挿入できる。さらに、[light rain]や[phone buzzing]といった背景音の指定にも対応する。同社によれば、モデルは周囲の文脈から声の調子や話すペースも読み取るため、緊迫した場面のセリフなら、タグを付けなくても緊張感のある声になる。複数の話者が登場する場面でも、長い文章にわたって各人の声を一貫させられるという。章が進むにつれて声が変わりがちだった合成音声ナレーションの弱点を補うものだ。

対応言語は前バージョンの70から90以上に増えた。TechCrunchによると、ElevenLabsは日本語、ブラジル・ポルトガル語、標準中国語、広東語で品質が大きく向上したと強調している。クローン音声は言語が変わっても本人らしさを保つため、スペイン語話者のクローンがドイツ語を読んでも、ドイツ語のネイティブらしい発音でありながら、その人の声に聞こえる。音声アシスタントやコールセンターのオペレーター向けには、別モデルの「v4 Turbo」も用意された。話し始めるまでの時間は約150ミリ秒で、会話で人が交互に話す際の間に相当する。背後のチャットボットが回答を書き終える前に、話し始めることもできる。

この市場にいるのはElevenLabsだけではない。Google、OpenAI、Cartesia、Deepgram、Fish Audioも、同じ開発者向けに合成音声を販売している。発表から数時間以内に、独立系ベンチマーク企業のArtificial Analysisが音声ランキングでv4を首位に置いた。匿名の音声サンプルを並べて、聞き手が評価するランキングだ。ElevenLabsはまた、競合製品とのブラインド比較で、聞き手のおよそ4人に3人がv4を好んだとしている。ただし、この数字は同社自身のテストによるものだ。

注意点は、まず「10秒」という数字にある。ElevenLabsによると、音声クローンの作成には、アップロードされた声の持ち主の同意が必要だ。同社は自社ツールで生成された音声を検出できる公開分類器を運用し、一部の政治家のクローン作成は一律に禁止している。こうした対策は気軽な悪用を防ぐものの、音声をアップロードする人が正直に申告することが前提だ。詐欺師は、親族の声を数秒録音するだけで、緊急事態を装った偽の電話をかけられる。無料プランで生成できる音声も少なく、Unite.AIの料金プラン解説によると月約10分まで。有料プランは月額6ドルからとなっている。

Eleven v4とv4 Turboは、9月28日にElevenLabsのクリエイター向けアプリ、エージェントプラットフォーム、開発者向けAPIで利用可能になった。ロンドンに本社を置く同社は2月、評価額110億ドルでSequoiaから5億ドルを調達。TechCrunchによると、年換算の売上高は6億ドルを超えている。最高経営責任者のマティ・スタニシェフスキ（Mati Staniszewski）はTechCrunchに対し、具体的な時期は明言しなかったものの、今後数年のうちに株式上場を目指すと語った。

クリエイターにとって、90言語で指示どおりに笑う声は、ブラウザーのタブに開いたレコーディングスタジオだ。それ以外の人にとっては、電話口で聞き慣れた声に金を求められたら、いったん電話を切って、こちらからかけ直すべき理由がまた一つ増えたということでもある。

タグ: Pelé, Raphael, Baker Mayfield, ElevenLabs, AI音声, Eleven v4