GPT-4oをVtubeStudioとVOICEVOXと組み合わせてアバターと会話してみた

今回はGPT-4oをVtubeStudioとVOICEVOXと組み合わせることで、アバターと会話ができるようにしてみました。

VOICEVOXで声を変えることでアバターと会話してる感がより強くなるね。

本記事では、ChatGPTから出力されたテキストをVOICEVOXで音声合成し、それをVtubeStudioのアバター口元の動きと連動させる手順を解説します。

構成と処理の流れ

VOICEVOXのコンテナイメージ起動

VOICEVOXは、入力したテキストを様々なキャラクターの声に変換して出力してくれるテキスト読み上げソフトウェアです。

YouTubeなどで「ずんだもん解説動画」が流行していることからも、その人気がうかがえます。

今回の実装ではVOICEVOXのコンテナイメージを利用しています。
コンテナイメージを用いることで、どのOSからでもVOICEVOXを起動できます。

#1. コンテナイメージのダウンロード
docker pull voicevox/voicevox_engine:cpu-ubuntu20.04-latest

#コンテナの起動

docker run --rm -it -p '127.0.0.1:50021:50021' voicevox/voicevox_engine:cpu-ubuntu20.04-latest

VOICEVOXのイメージの起動が成功すると、以下のような画面が表示されます。

音声入力の文字起こし

def record_until_silence(threshold=200, chunk_size=1024, silence_limit=1, sample_rate=44100):
    """無音検出で録音を終了する"""
    print("質問を音声で入力してください: ")

    frames = []
    silent_chunks = 0
    max_silent_chunks = int(silence_limit * sample_rate / chunk_size)
    stop_recording = False

    def callback(indata, frame_count, time_info, status):
        nonlocal silent_chunks, frames, stop_recording
        if status:
            print(status)
        frames.append(indata.copy())
        rms = audioop.rms(indata[:, 0], 2)  # Root Mean Square (RMS) value is used to measure loudness
        #print(rms)
        if rms < threshold:
            silent_chunks += 1
        else:
            silent_chunks = 0

        if silent_chunks > max_silent_chunks:
            print("無音検出、録音を停止します")
            stop_recording = True

    with sd.InputStream(samplerate=sample_rate, channels=1, dtype='int16', callback=callback, blocksize=chunk_size):
        while not stop_recording:
            sd.sleep(100)

    print("録音終了")
    audio_data = np.concatenate(frames, axis=0)
    return audio_data, sample_rate

def recognize_speech_from_audio_data(audio_data, sample_rate):
    """録音データから音声をテキストに変換する"""
    recognizer = sr.Recognizer()
    audio = sr.AudioData(audio_data.tobytes(), sample_rate, 2)

    response = {
        "success": True,
        "error": None,
        "transcription": None
    }

    try:
        response["transcription"] = recognizer.recognize_google(audio, language='ja-JP')
    except sr.RequestError:
        response["success"] = False
        response["error"] = "Google Speech Recognition APIにアクセスできませんでした"
    except sr.UnknownValueError:
        response["success"] = False
        response["error"] = "音声を認識できませんでした"

    return response

GPT-4oの概要

GPT-4o（Omni）は、テキストや画像の入力を受け、多言語に対応し、視覚認識能力を備えた最先端のマルチモーダルAIモデルです。テキスト生成速度は従来のモデルの2倍、コストも50％削減されています。

GPT-4o（「o」は「omni」を意味します）は、私たちの最も高度なモデルです。

これはマルチモーダルであり（テキストや画像の入力を受け付け、テキストを出力します）、GPT-4 Turboと同じ高い知能を持ちながら、はるかに効率的です。テキスト生成の速度は2倍速く、コストは50％安くなっています。さらに、GPT-4oは視覚認識においても非英語言語においても、他のモデルに比べて最高のパフォーマンスを発揮します。GPT-4oは、有料顧客向けにOpenAI APIで利用可能です。GPT-4oの使用方法については、テキスト生成ガイドをご覧ください。

GPT-4o – https://platform.openai.com/docs/models/gpt-4o

res = client.chat.completions.create(
　　model="gpt-4o",
　　messages=messages,
　　max_tokens=1000
)

OpenAIのAPIキー取得

GPTおよびDALL-E3のAPIを使用するには、OpenAIのAPIキーが必要です。
まだAPIキーを取得していない方は、OpenAIのAPI発行画面からAPIキーを発行しましょう。

Create new secret keyを押下します。

「Create secret key」を押下します。

作成されたキーをコピーしておきます。
画面を閉じてしまうとキーがコピーできなくなるため、注意してください。

VtubeStudioのアバターとの連動方法

VtubeStudioのAPIを起動し、リップシンキングを使います。
APIの起動をONすることで、外部のソースと連携することができます。

VOICEVOXから出力された音声に合わせて、キャラクターの口を動かします。
音声に合わせて口を動かすには、リップシンクの設定を実施します。

声とキャラクターを変えて実行

VOICEVOXの声とVtubeStudioのキャラクターを変えて実行することもできます。

試しに猫のアバター（VOICEVOX:櫻歌ミコ）で実行してみました。

OBSでVtubeStudioのキャラクターを透過させる

OBSとVtubeStudioを組み合わせることで、アプリケーションの画面にキャラクターを透過して表示させることもできます。
アバターと会話しながら、ライブ配信してみても面白いかもしれません。

まとめ

GPT-4oのレスポンス速度は速いです。
しかしVOICEVOXの音声合成に時間がかかり、結果としてレスポンスが変えてくるまでに時間がかかり過ぎている感じがします。

改良の余地がありそうですが、レスポンスの速度を早めれば、より自然にアバターと会話できるようになりそうです。

最後まで読んでいただきありがとうございました。
ではでは。