大模子正在变嫌及时互动时刻。

声网算作全球音视频时刻龙头，2020 年在纳斯达克上市，现在是全球最大的及时互动云劳动商，平台单月音视频使用时长达 700 亿分钟。

同期，声网昆季公司 Agora 亦然 OpenAI Realtime API 的衔尾伙伴，在国内声网也与 MiniMax 正在打磨国内首个 Realtime API。

在 MEET 2025 智能改日大会大会现场，声网首席运营官刘斌共享了一个看似离大模子有点距离，实则却不成或缺的门径：

RTE（Real Time Engagement）在 AI Agent 时期的全新价值。

为了完好意思体现刘斌的念念考，在不变嫌愉快的基础上，量子位对演讲内容进行了裁剪整理，但愿能给你带来更多启发。

MEET 2025 智能改日大会是由量子位主持的行业峰会，20 余位产业代表与会盘考。线下参会不雅众 1000+，线上直播不雅众 320 万 +，赢得了主流媒体的平庸蔼然与报说念。

中枢不雅点

多模态对话体验的两个谬误：延长是否低于 1.7 秒，能否打断

多模态对话 AI Agent 哄骗居品化落地的谬误：端到端、全球放荡所在、弱网环境、多样末端下的低时延

不管是语音 , 如故视频 , 只若是多模态有交互的 AI Agent 哄骗 , 离不开 RTE 才略的支捏

演讲全文

今天十分景况有这么契机来到现场跟共享，声网算作 RTE 领域的企业，和 AI 领域的大模子与哄骗厂商，和当下的大模子关系是什么，RTE 演进怎么助力 AI Agent 哄骗落地。

第一，声网到底是谁。

声网于 2020 年在纳斯达克上市，专注于提供及时互动云劳动。经过多年的发展，该公司在该行业取得了一定的越过。

咱们公司的标语温暖明了，即让及时互动像空气和水通常，无处不在。

这一理念旨在达成改日不管身处何地，齐能赢得如同濒临面般的互动体验。经过多年的致力，咱们在阛阓占有率方面位居第一，并领有大量注册开发者哄骗。

单月音视频分钟数约为 700 亿，这意味着每天在咱们平台上的分钟数约为 20 多亿。在这种情况下，全球越过 60% 的泛文娱哄骗选择声网算作其衔尾伙伴。咱们波及的领域包括泛文娱、老师和物联网等，均领有相应的衔尾伙伴。

第二，咱们作念的事到底和 AI Agent 有什么关系，怎么去助力它。

领先，值得蔼然的是，OpenAI 于 10 月 1 日在官方网站发布 Realtime API 时，曾在衔尾伙伴中说起 Agora，即咱们声网的昆季公司。

其次，在 10 月份的 RTE 大会上，咱们告示与 MiniMax 正在打磨国内第一个 Realtime APl。

第三，AI Agent 时期到底怎么样作念才调作念的更好。

咱们不错不雅察到，在果真多模态模子推出或对话时，相较于原先的纯文本交互，仍是发生了变化。

原先的交互骨子上是异步的，即我不错发送信息，说完后恭候处分并复返放手。可是，在果真多模态交互中，要务及时性和双工性，即我说他听，他听完后我再听。

在这个经过中，有几个谬误身分会影响效果。

领先，民众较为熟习的口吻、神气、神气和口音等身分在模子中得到了大量处分。

其次，延长亦然一个十分病笃的身分。服气民众齐有联系的感受。

从本质测量数据来看，果真达到实用效果的延长一般在 1.7 秒傍边。如果低于这个值，东说念主们会合计与 Agent 调换很当然；而如果延长达到 2 秒多或 3 秒，东说念主们就会嗅觉到有些卡顿，反馈稍显冉冉。这是一个十分病笃的谬误点。

另一个谬误点是，能否达成打断功能以及怎么更好地进行主动交互。

要达成这些功能，除了模子才略外，还需探究哄骗的落地神志。是在实验室的 PC 上进行演示，如故将其哄骗于多样手机末端、物联网末端以过火他开发上？

当有此需求时，在居品化落地的经过中会发现，除了之前提到的低时延等才略外，还需要在端到端齐能达成。此外，还需在不同所在、不同网络环境下以及多样末端开发上齐能得到支捏，这并非易事。

对于这张图，尽管民众可能不太蔼然，但咱们其时十分好奇。这是 5 月份 OpenAI GPT-4o 发布时的情况，民众不错看那根网线，这是要保证网络的褂讪性。

在 4o 发布之后，民众齐在恭候 API 的推出，蓝本预期一周或两周内会推出，但本质上并非如斯，直至 10 月份才发布。原因在于，一驱动民众认为这件事很简陋，只需对原有的 RTP Server 进行修改，将文本传输改为语音传输即可。

可是，本质情况并非如斯简陋。咱们与他们衔尾，直至 10 月份才矜重推出。恰是咱们在其中阐发作用，使其果真落地达成。

在此，我向民众展示声网多年来的责任效果。

领先，咱们领有一张遍布全球的 SD-RTN 网络，确保在这张网络上音视频传输齐能在要领的 400 毫秒内端到端到达，这是网络复旧。其次，咱们多年的积贮使咱们大概在 30 多个平台的框架和 30000 多末端机型上提供 SDK 支捏，涵盖多样操作系统。您只需很快地成立这个才略。包括物联网的多样开发末端，齐有相应的 SDK。

此外，在本质哄骗中，如咱们在这个会场，如果我要与 AI 对话，网络情况和环境噪声并非固定不变。如安在极点弱网下保证效果，这亦然咱们多年时刻积贮的放手。

恰是咱们在这一领域的深厚积贮，使得咱们大概构建一个具有本质哄骗价值的 Voice 对话 Agent。独一将这两者精细联接，才调达成这一目的。这也评释了为什么在发布 Realtime API 时，咱们需要寻找这么的衔尾伙伴共同推动。

咱们还发现，现存的 RTC 时刻栈和基础设施存在大量校正空间。独一通过校正，大型模子才有可能在多样场景、景观和模子下大范围参与到东说念主类的谈话对话中，其参与起原也将从云霄膨胀到末端，再到更低延长的旯旮。基于这些才略的校正和普及，改日 RTE 必将成为生成式 AI 时期 AI 基础设施（AI Infra）的谬误构成部分。

如图右侧红色部分所示，Realtime API 频繁由大型模子厂商发布。可是，在左侧这一圈，包括中间的网络和声网的 Linux Server SDK，以及前端的 SDK，如果莫得这么的基础，咱们将很难达成这一整套效果。这恰是我之前所评释的原因。如果中间的这些门径未能达成，那么效果将无法袒露。

在此，咱们将从面前视角动身，探讨改日的行动主见以及怎么进一步提高效果。近期，咱们一直在真切磋磨和参加资源，以优化东说念主与东说念主之间的对话体验。可是，在东说念主与模子之间的对话中，体验的提高需要充分探究模子的特质。

举例，咱们从传统的 QoS、QoE 发展到如今的 AI QoE，乃至多模态 AI QoE，这其中涵盖了 VAD 时刻、杂音摈弃才略以及联系网络优化等方面。这些新的方法和神志使得咱们与模子的对话愈加靠近本质情况。以一个简陋的例子来阐明，东说念主与东说念主交谈时不会羼杂其他信息，但东说念主与模子对话时则可能不同，语音传输经过中可能还包含其他信息。因此，在弱网环境和哄骗场景中怎么达成细腻适配，便显得尤为病笃。

咱们曾在 RTE 大会上展示过一个实例，其时的会场范围较大，东说念主数开阔且环境嘈杂，咱们在现场使用了一个 5G 开发进行演示。

咱们想作念到的是从 60 分提高到 90 分，这不仅波及模子难度的提高，还包括把握工程配套的完善，以便将居品从演示阶段发展为更具实用性的哄骗。

对于声网的居品体系，咱们正束缚加强其功能，如 Linux SDK、AI VAD 才略以及 AI Agent Service 的补充与优化。通过声网 RTE+AI 才略全景图，咱们不错看到咱们的举座念念路，包括从基础设施到 Agent，再到场景的演进，旨在成为生成式 AI 时期的 AI 基础设施，这亦然咱们的愿景。

临了，我想强调小数：

任何波及大模子多模态及时交互的哄骗，不管是语音如故视频，只须存在多模态交互，这类 Agent 哄骗的落地齐离不开 RTC 时刻的支捏。

在这种情况下，如果民众有这么的需求，请来找声网，咱们一定给民众更好的体验。

谢谢民众，今天就到这里。

—  完  —

点这里� � 蔼然我，铭刻标星哦～

一键三连「共享」、「点赞」和「在看」

科技前沿进展日日相逢 ~  

当前网址：http://www.geruijia.com/xinwenzhongxin/872468.html
tag：欧洲杯app,线上,直播,不雅,+-2024,欧洲杯