14a - 语音 AI 平台对比

用户语音输入 → [STT 语音识别] → 文本 → [LLM 推理] → 文本 → [TTS 语音合成] → 语音输出

总延迟 = STT 延迟 (100-500ms) + LLM 推理 (350ms-1s+) + TTS 延迟 (75-200ms)

# ElevenLabs TTS 基础调用示例
from elevenlabs import ElevenLabs
 
client = ElevenLabs(api_key="your-api-key")
 
# 流式 TTS — 适合实时对话
audio_stream = client.text_to_speech.convert_as_stream(
    voice_id="JBFqnCBsd6RMkjVDRZzb",
    text="你好，我是你的 AI 助手，有什么可以帮你的吗？",
    model_id="eleven_flash_v2_5",  # 超低延迟模型
    output_format="mp3_44100_128"
)
 
# 对话式 AI Agent
conversation = client.conversational_ai.create_conversation(
    agent_id="your-agent-id",
    first_message="你好！请问有什么可以帮助你的？"
)

# Deepgram STT 实时流式转录
from deepgram import DeepgramClient, LiveTranscriptionEvents, LiveOptions
 
deepgram = DeepgramClient(api_key="your-api-key")
 
# 创建实时连接
connection = deepgram.listen.live.v("1")
 
# 配置选项
options = LiveOptions(
    model="nova-3",
    language="zh",           # 中文
    smart_format=True,       # 智能格式化
    diarize=True,            # 说话人分离
    interim_results=True     # 中间结果（降低感知延迟）
)
 
connection.start(options)

// Deepgram Voice Agent API — 统一语音 Agent
import { createClient } from "@deepgram/sdk";
 
const deepgram = createClient("your-api-key");
 
const agent = deepgram.agent();
 
// 配置语音 Agent
await agent.configure({
  audio: {
    input: { encoding: "linear16", sample_rate: 16000 },
    output: { encoding: "linear16", sample_rate: 24000 }
  },
  agent: {
    listen: { model: "nova-3" },        // STT
    think: {
      provider: { type: "open_ai" },     // LLM
      model: "gpt-4o-mini"
    },
    speak: { model: "aura-2-en" }        // TTS
  }
});

Vapi.ai 编排层
├── STT 选择：Deepgram / AssemblyAI / Google / Azure
├── LLM 选择：GPT-4o / Claude / Gemini / 自定义
├── TTS 选择：ElevenLabs / Deepgram / Azure / 自定义
└── 电话集成：Twilio / Vonage / 自定义 SIP

// Vapi.ai 创建语音 Agent
import Vapi from "@vapi-ai/server-sdk";
 
const vapi = new Vapi({ token: "your-api-key" });
 
// 创建 AI 电话 Agent
const assistant = await vapi.assistants.create({
  name: "客服助手",
  model: {
    provider: "openai",
    model: "gpt-4o-mini",
    systemPrompt: `你是一个专业的中文客服助手。
      - 用友好、专业的语气回答问题
      - 如果无法解决，转接人工客服
      - 每次回复控制在 2-3 句话以内`
  },
  voice: {
    provider: "elevenlabs",
    voiceId: "your-voice-id"
  },
  transcriber: {
    provider: "deepgram",
    model: "nova-3",
    language: "zh"
  },
  firstMessage: "你好！我是智能客服助手，请问有什么可以帮你的？"
});
 
// 发起外呼
const call = await vapi.calls.create({
  assistantId: assistant.id,
  phoneNumberId: "your-phone-number-id",
  customer: { number: "+8613800138000" }
});

# AssemblyAI 转录 + 音频智能
import assemblyai as aai
 
aai.settings.api_key = "your-api-key"
 
# 配置转录器
config = aai.TranscriptionConfig(
    speech_model=aai.SpeechModel.best,       # Universal-3 Pro
    speaker_labels=True,                      # 说话人分离
    sentiment_analysis=True,                  # 情感分析
    auto_highlights=True,                     # 关键词高亮
    entity_detection=True,                    # 实体检测
    summarization=True,                       # 自动摘要
    summary_model=aai.SummarizationModel.informative,
    summary_type=aai.SummarizationType.bullets
)
 
transcriber = aai.Transcriber(config=config)
transcript = transcriber.transcribe("https://example.com/audio.mp3")
 
# 获取结构化结果
print(f"转录文本: {transcript.text}")
print(f"摘要: {transcript.summary}")
for sentiment in transcript.sentiment_analysis:
    print(f"[{sentiment.sentiment}] {sentiment.text}")
 
# LeMUR — 对转录结果进行 LLM 操作
result = transcript.lemur.task(
    prompt="请从这段客服通话中提取：1) 客户问题 2) 解决方案 3) 客户满意度",
    final_model=aai.LemurModel.claude3_5_sonnet
)
print(result.response)

# Resemble.ai 语音克隆 + TTS
import resemble
 
resemble.api_key = "your-api-key"
 
# 创建快速语音克隆
voice = resemble.v2.voices.create(
    name="我的克隆语音",
    dataset_url="https://example.com/my-voice-sample.wav",
    clone_type="rapid"  # rapid 或 professional
)
 
# 使用克隆语音生成 TTS
audio = resemble.v2.clips.create_sync(
    voice_uuid=voice["uuid"],
    body="欢迎使用我们的智能客服系统，请问有什么可以帮助您的？",
    output_format="wav"
)
 
# 深伪检测
detection = resemble.v2.detect.create(
    audio_url="https://example.com/suspicious-audio.wav"
)
print(f"深伪概率: {detection['score']}")

你需要什么语音 AI 能力？
│
├── 主要需要 TTS（语音合成）
│   ├── 追求最高语音质量 → ElevenLabs
│   ├── 需要语音克隆 + 安全合规 → Resemble.ai
│   └── 追求低成本大规模 → Deepgram Aura-2
│
├── 主要需要 STT（语音识别）
│   ├── 需要最高准确率 → Deepgram Nova-3
│   ├── 需要 99 语言覆盖 → AssemblyAI Universal-2
│   └── 需要音频智能分析 → AssemblyAI + LeMUR
│
├── 需要完整语音 Agent
│   ├── 快速搭建，统一方案 → Deepgram Voice Agent API
│   ├── 需要自由组合组件 → Vapi.ai
│   └── 需要最高语音质量 → ElevenLabs 对话 AI
│
└── 需要电话 AI Agent
    ├── 开发者自建 → Vapi.ai + Twilio
    ├── 企业级方案 → Deepgram Voice Agent + SIP
    └── 快速原型 → ElevenLabs 对话 AI

STT: Deepgram Nova-3 ($0.0077/分钟)
LLM: GPT-4o-mini 或 Claude 3.5 Haiku
TTS: ElevenLabs Flash v2 (75ms 延迟)
编排: Vapi.ai ($0.05/分钟)
电话: Twilio
预估成本: ~$0.15-0.25/分钟

STT: Deepgram Fluxi
LLM: GPT-4o-mini
TTS: Deepgram Aura-2 (90ms 延迟)
编排: Deepgram Voice Agent API ($0.08/分钟)
预估成本: ~$0.08-0.12/分钟

STT: Deepgram Nova-3 (HIPAA)
LLM: Azure OpenAI (企业合规)
TTS: Resemble.ai (深伪检测 + 水印)
编排: 自建
部署: 自托管 / VPC
预估成本: 定制

需求评估清单：
□ 核心需求是 TTS、STT 还是完整语音 Agent？
□ 目标延迟要求是多少？（<300ms / <500ms / <1s）
□ 需要支持哪些语言？
□ 月度预算是多少？
□ 是否需要语音克隆？
□ 是否有合规要求（HIPAA/GDPR/SOC 2）？
□ 预计并发量是多少？
□ 是否需要自托管部署？

# 1. ElevenLabs — 注册获取 API Key
# https://elevenlabs.io → Sign Up → API Keys
 
# 2. Deepgram — 注册获取 $200 免费额度
# https://console.deepgram.com → Sign Up
 
# 3. AssemblyAI — 注册获取 $50 免费额度
# https://www.assemblyai.com → Get Started
 
# 4. Resemble.ai — 注册 Flex 计划
# https://app.resemble.ai → Sign Up
 
# 5. Vapi.ai — 注册开发者账号
# https://dashboard.vapi.ai → Sign Up

# 简单的延迟基准测试脚本
import time
import asyncio
 
async def benchmark_tts(provider: str, text: str):
    """测量 TTS 首字节延迟"""
    start = time.perf_counter()
 
    if provider == "elevenlabs":
        from elevenlabs import ElevenLabs
        client = ElevenLabs(api_key="your-key")
        stream = client.text_to_speech.convert_as_stream(
            voice_id="your-voice-id",
            text=text,
            model_id="eleven_flash_v2_5"
        )
        first_chunk = next(iter(stream))
 
    elif provider == "deepgram":
        from deepgram import DeepgramClient
        client = DeepgramClient(api_key="your-key")
        response = await client.speak.v("1").stream(
            {"text": text},
            options={"model": "aura-2-en"}
        )
        first_chunk = await response.read(1024)
 
    ttfb = (time.perf_counter() - start) * 1000
    print(f"{provider} TTFB: {ttfb:.0f}ms")
    return ttfb
 
# 测试文本
test_text = "Hello, I am your AI assistant. How can I help you today?"
 
# 运行基准测试
# asyncio.run(benchmark_tts("elevenlabs", test_text))
# asyncio.run(benchmark_tts("deepgram", test_text))

你是一个语音 AI 平台选型顾问。请根据以下需求帮我推荐最合适的语音 AI 技术栈：

项目类型：[客服机器人 / 电话销售 / 内容创作 / 会议转录 / ...]
核心需求：[TTS / STT / 完整语音 Agent]
目标语言：[中文 / 英文 / 多语言]
延迟要求：[<300ms / <500ms / <1s / 无严格要求]
月度预算：[$X]
预计用量：[X 小时/月 或 X 次通话/月]
合规要求：[HIPAA / GDPR / SOC 2 / 无]
部署方式：[云端 / 自托管 / 混合]

请推荐：
1. 首选方案（含具体平台和模型选择）
2. 备选方案
3. 预估月度成本
4. 关键风险和注意事项

客户来电 → Twilio → Vapi.ai 编排层
                      ├── Deepgram Nova-3 (STT)
                      ├── GPT-4o-mini (LLM + 业务逻辑)
                      ├── ElevenLabs Flash (TTS)
                      └── Webhook → 后端系统（订单查询等）

import assemblyai as aai
 
aai.settings.api_key = "your-api-key"
 
# 配置全功能转录
config = aai.TranscriptionConfig(
    language_detection=True,      # 自动语言检测
    speaker_labels=True,          # 说话人分离
    sentiment_analysis=True,      # 情感分析
    auto_chapters=True,           # 自动章节
    entity_detection=True,        # 实体检测
    summarization=True,
    summary_type=aai.SummarizationType.bullets
)
 
transcriber = aai.Transcriber(config=config)
transcript = transcriber.transcribe("meeting-recording.mp3")
 
# 使用 LeMUR 提取行动项
action_items = transcript.lemur.task(
    prompt="""请从会议记录中提取：
    1. 所有行动项（包括负责人和截止日期）
    2. 关键决策
    3. 未解决的问题
    请用中文输出，格式化为 Markdown 表格。"""
)
print(action_items.response)