ElevenLabs Voice Agent
Build AI phone agents using ElevenLabs Conversational AI API + Twilio.
Setup Flow
- 1. Create agent via ElevenLabs dashboard or API
- Configure voice, TTS model, LLM, and system prompt
- Purchase/connect Twilio phone number via ElevenLabs phone integration
- Test and iterate on script, voice settings, turn-taking
Optimal Voice Settings (Proven)
| Setting | Value | Why |
|---|
| TTS Model | v3 conversational | Best quality for phone calls |
| Expressive mode |
ON | Natural inflection |
| Stability | 0.45 | Natural variation without inconsistency |
| Similarity | 0.75 | Recognizable voice |
| Speed | 1.2x | Fast enough for cold calls (API max) |
| Streaming latency | 4 | Balance speed vs quality |
| Turn timeout | 2s | Don't wait too long for response |
| Eagerness | eager | Jump in naturally |
| Speculative turn | ON | Faster responses |
| Cascade timeout | 3s | Handle pauses |
Recommended Voices
- - Alexandra (
kdmDKE6EkgrWrrykO9Qt): Pleasant female, great for cold calls - Hope (
OYTbf65OHHFELVut7v2H): Warm female backup
LLM Choice
Use gpt-4o-mini for phone agents — speed is critical, latency kills calls.
Key API Endpoints
CODEBLOCK0
Enable Phone Features
Enable these tools on the agent: voicemail_detection, end_call, INLINECODE5
NEPQ Sales Framework
For appointment-setting agents, use Neuro-Emotional Persuasion Questioning:
- - Permission-based opening ("Do you have a quick moment?")
- Question-led qualification (don't pitch, ask)
- Emotional connection questions before booking
- Soft close with specific time options
Twilio Integration
- 1. Get Twilio Account SID + Auth Token
- Use ElevenLabs API to create phone number connection
- Phone number is provisioned automatically by ElevenLabs
- Calls route: Twilio → ElevenLabs → AI agent
Common Issues
- - Robotic voice: Switch to v3 conversational model, enable expressive mode
- Slow responses: Use gpt-4o-mini, increase streaming latency optimization
- Cuts off caller: Increase turn timeout, reduce eagerness
- Sounds scripted: Add personality to system prompt, lower stability slightly
ElevenLabs 语音助手
使用 ElevenLabs 对话式 AI API + Twilio 构建 AI 电话助手。
设置流程
- 1. 通过 ElevenLabs 控制台或 API 创建助手
- 配置语音、TTS 模型、LLM 和系统提示词
- 通过 ElevenLabs 电话集成购买/连接 Twilio 电话号码
- 测试并迭代脚本、语音设置、轮换机制
最佳语音设置（已验证）
| 设置项 | 数值 | 原因 |
|---|
| TTS 模型 | v3 对话式 | 电话通话最佳质量 |
| 表现力模式 |
开启 | 自然的语调变化 |
| 稳定性 | 0.45 | 自然变化且保持一致性 |
| 相似度 | 0.75 | 可识别的语音 |
| 语速 | 1.2倍 | 足够快以应对冷呼叫（API 上限） |
| 流式延迟 | 4 | 速度与质量的平衡 |
| 轮换超时 | 2秒 | 不过度等待回复 |
| 响应积极度 | 积极 | 自然插话 |
| 推测性轮换 | 开启 | 更快的响应 |
| 级联超时 | 3秒 | 处理停顿 |
推荐语音
- - Alexandra (kdmDKE6EkgrWrrykO9Qt): 悦耳女声，非常适合冷呼叫
- Hope (OYTbf65OHHFELVut7v2H): 温暖女声备用
LLM 选择
电话助手使用 gpt-4o-mini — 速度至关重要，延迟会毁掉通话。
关键 API 端点
POST https://api.elevenlabs.io/v1/convai/agents/create
PATCH https://api.elevenlabs.io/v1/convai/agents/{agent_id}
GET https://api.elevenlabs.io/v1/convai/agents/{agent_id}
POST https://api.elevenlabs.io/v1/convai/twilio/phone-numbers — 连接 Twilio 号码
启用电话功能
在助手上启用这些工具：voicemaildetection（语音信箱检测）、endcall（结束通话）、backgroundvoicedetection（背景语音检测）
NEPQ 销售框架
对于预约设置助手，使用神经情感说服式提问：
- - 基于许可的开场（您方便说几句话吗？）
- 问题引导的资格确认（不要推销，要提问）
- 预约前建立情感连接的问题
- 提供具体时间选项的软性收尾
Twilio 集成
- 1. 获取 Twilio 账户 SID + 认证令牌
- 使用 ElevenLabs API 创建电话号码连接
- 电话号码由 ElevenLabs 自动配置
- 通话路由：Twilio → ElevenLabs → AI 助手
常见问题
- - 机械音：切换到 v3 对话式模型，开启表现力模式
- 响应缓慢：使用 gpt-4o-mini，优化流式延迟
- 打断来电者：增加轮换超时时间，降低响应积极度
- 听起来像念稿：为系统提示词增加个性，略微降低稳定性
