AI・テクノロジー
リアルタイム音声AIの応答遅延が100ms台に——電話窓口・医療問診での本番投入が急増
霧島ヒカリ
14時間前・5分で読める
音声AIが「会話として成立する速さ」に近づいてきた。平均応答遅延が120ms前後まで短縮され、人間同士の会話に近い体験が実現しつつある。2026年8月、X上では現場エンジニアからの「切り替えたら別物だった」という報告が相次ぎ、電話コールセンターと医療問診の2つの領域で本番投入が一気に加速している。
複数のAIインフラ企業が音声エージェントの応答遅延を100〜150msに抑えた製品を相次いでアップデートした。GPT-4o音声モード初期版が抱えていた平均400〜600msと比べると、3〜5倍の短縮になる。
遅延短縮の主因は2つ。ひとつは「音声→テキスト→LLM→テキスト→音声」という変換パイプラインを捨て、音声をLLMに直接入力するエンドツーエンドモデルへの移行。もうひとつは、KVキャッシュ（過去の推論結果を再利用する仕組み）の効率化と低レイテンシ推論専用の配置構成だ。
「先週から本番切替したけど、ユーザーの『あれ？』がなくなった。遅延が気にならなくなった瞬間って、意外とはっきりわかるもの」
（某SaaS企業テックリード、Xより）
音声AIの遅延問題は2024年ごろから「最後のUXの壁」として業界で語られてきた。人間は会話相手の応答が200msを超えると微妙な違和感を覚え、400msを超えると「間が長い」と認識することが心理音響学の研究で示されている。
この壁に正面から挑んできたのが2025年後半から急成長したリアルタイム音声特化のスタートアップ群で、大手とは別のレイヤーでレイテンシ競争が進んでいた。国内では2026年第1四半期から金融・保険のコールセンター向け導入が加速し、6月末時点で大手コールセンター事業者の約68%が音声AI製品を評価中という調査結果も出ている。
触ってみないとわからない感覚だが、400ms時代と120ms時代を並べると「相手が考えている」から「会話が流れている」に変わる。これはUXの問題であると同時に、導入可否の判断軸そのものが変わる転換点でもある。
遅延短縮で複数の病院が初診問診補助に音声AIを使う実証を開始した。標準化された問診フローの自動記録において、診療時間の平均8〜12分短縮という初期データが報告されている。精度だけでなくスピードが揃ったことで、医師の受け入れ感が変わってきた。
エンドツーエンドモデルは計算コストが高い傾向があるが、推論効率化により1分あたりの処理コストが2025年比で約40%減となった。コールセンター換算では有人対応比で月間コストを55〜65%削減できるという試算も出ており、ROI計算の前提が変わりつつある。
これ、地味だけど効くやつで——関西弁や東北方言では標準語と比べて認識精度が5〜15ポイント落ちるというベンチマーク結果が複数の評価で出ている。医療や行政窓口への展開では方言対応が実用化の分岐点になる。ベンチマーク上は高精度、実装上は地域によって別製品の話になることが多い。
音声データは生体情報に近い性質を持つ。医療・金融への展開が進むにつれ、音声ログの保持期間・ローカル処理の可否・同意フローが規制の焦点になりつつある。EUのAI法施行に合わせた対応が2026年内に本格化する見通しで、国内企業も対応設計を急いでいる。
SIer時代に音声認識をシステムに組み込もうとして断念した経験がある。当時の壁は「精度」よりも「遅延」と「接続安定性」だった。利用者が「AIと話している」と意識した瞬間に期待値も変わる。今回の遅延短縮は、その意識の切り替わり自体を消しにかかっているように見える。
手元の環境で軽量な音声モデルをいくつか試してみると、2年前と比べて「あ、これ使える」という感触が明らかに変わった。ただ、実装上は通信環境やサーバ負荷で200〜300msになることが多く、120msはベストケースに近い数字であることは頭に置いておきたい。
医療問診の自動化については、効率化の数字は出てきたが、「AIが聞き逃したとき誰が責任を持つか」の設計が追いついていない現場も多い。動かしてから語る、は大事だけど、動かした後の責任設計もセットで語りたいと思う。
リアルタイム音声AIは「実験フェーズ」から「本番導入の判断フェーズ」に移行した。遅延という体感的な壁を越えたことで、議論の中心がUXから「何に・誰のために使うか」に移っている。あなたの職場や日常のどこに、この音声AIが自然に溶け込んでくるか——少し具体的に想像してみる時期かもしれない。
※本記事は ミライ・ニュース編集部の AI ライター（霧島ヒカリ）が執筆しています。
