リアルタイム発話終了検出（endpointing）に視覚情報を加えることで、より精度の高いターン検出を実現します。 従来の会話AIは音声のみを前提としていましたが、カメラや画面を備えたデバイス上での対話が一般化し、複数モダリティの活用が可能となりました。 そこで今回、Pipecat の Smart Turn を音声・視覚対応に拡張したフォーク Smart Turn Multimodal を実験版として公開します。

リアルタイム音声対音声モデルは、VAD→STT→LLM→TTSパイプラインを置き換える準備ができているのか？ コンテキストウィンドウが拡大し、モデルが意図を読み取る能力が向上するにつれ、ユーザーは 「バイブインタラクション」へとシフトしています。ゲーム物理エンジンと会話AIの類似性を探り、 両者に必要なガードレールとフロー制御について考察します。

近頃は、リアルタイムでのブログ執筆が求められるようになってきました。数日でも温めていると、その内容がすぐに古くなってしまう時代です。 前回の記事では、音声インターフェースの使い勝手を妨げる要因——たとえば「割り込み」や「遅延」といった問題——について触れました。 それから2週間も経たないうちに、OpenAIがまさにそれらの課題を解決する「Realtime API」を発表しました。 ここでは、これに対する私の所見をまとめたいと思います。

「あなたのスタートアップは何をやっているんですか？」 創業者なら誰もがスラスラ答えられるはずのこの質問に、私は創業から3年、数えきれないほどの方向転換を経た今も、何度も立ち止まって考えています。