闲社

标题: 【教程】京东开源JoyAI-VL-Interaction部署实战：打造实时视频AI助手 [打印本页]
作者: dcs2000365    时间: 3 小时前
标题: 【教程】京东开源JoyAI-VL-Interaction部署实战：打造实时视频AI助手
前言

2026年6月，京东正式开源了全球首个全栈实时视频视觉语言交互模型——JoyAI-VL-Interaction。与传统"一问一答"模式不同，它能持续观察视频流、智能判断何时介入交流，并支持"后台委托"机制处理复杂任务。本文将手把手教你从0开始部署这个模型，打造属于自己的实时视频AI助手。

一、前置条件



二、环境搭建
  2. # 1. 创建Python虚拟环境
  3. conda create -n joyai python=3.10 -y
  4. conda activate joyai
  6. # 2. 安装PyTorch（CUDA 12.1版本）
  7. pip install torch==2.3.0 torchvision==0.18.0 --index-url https://download.pytorch.org/whl/cu121
  9. # 3. 安装vLLM-Omni（JoyAI-VL-Interaction的核心推理引擎）
  10. pip install vllm-omni==0.3.0
  12. # 4. 安装其他依赖
  13. pip install transformers==4.41.0 accelerate==0.30.0
  14. pip install opencv-python ffmpeg-python
  15. pip install websockets fastapi uvicorn
复制代码

三、下载模型权重
  2. # 从HuggingFace下载模型（需要git-lfs）
  3. apt-get install git-lfs -y
  4. git lfs install
  6. # 下载主模型
  7. git clone https://huggingface.co/jd-ai/JoyAI-VL-Interaction-7B
  9. # 下载视觉编码器
  10. git clone https://huggingface.co/jd-ai/JoyAI-VL-Interaction-vision-encoder
复制代码

如果HuggingFace下载速度慢，可以使用ModelScope镜像：
  2. pip install modelscope
  4. from modelscope import snapshot_download
  6. # 下载模型到本地
  7. model_dir = snapshot_download(
  8.     "jd-ai/JoyAI-VL-Interaction-7B",
  9.     cache_dir="./models"
  10. )
复制代码

四、核心配置

创建配置文件 config.yaml：
  2. model:
  3.   model_path: "./JoyAI-VL-Interaction-7B"
  4.   vision_encoder_path: "./JoyAI-VL-Interaction-vision-encoder"
  5.   device: "cuda"
  6.   dtype: "bfloat16"
  7.   max_model_len: 8192
  9. # 视频流配置
  10. video:
  11.   source: 0  # 0=摄像头，或填写RTSP流地址"rtsp://xxx"
  12.   fps: 30
  13.   resolution: [1280, 720]
  15. # 语音交互配置（可选）
  16. audio:
  17.   asr_model: "whisper-base"  # 语音识别
  18.   tts_model: "edge-tts"      # 语音合成
  19.   sample_rate: 16000
  21. # 后台Agent配置
  22. agent:
  23.   enabled: true
  24.   delegate_threshold: 0.7  # 复杂度阈值，超过则委托后台
  25.   tools:
  26.     - code_interpreter
  27.     - web_search
  28.     - calculator
  30. # 交互行为配置
  31. interaction:
  32.   proactive: true        # 主动观察模式
  33.   silence_timeout: 5.0   # 沉默超过5秒可介入
  34.   interruptible: true    # 允许打断
复制代码

五、启动服务
  2. # 方式1：使用官方启动脚本
  3. python -m joyai_vl_interaction.server --config config.yaml
  5. # 方式2：Python代码启动
  6. from joyai_vl_interaction import RealtimeServer
  8. server = RealtimeServer(config_path="config.yaml")
  9. server.start(host="0.0.0.0", port=8000)
复制代码

启动成功后，你会看到类似输出：
  2. [INFO] Loading model: JoyAI-VL-Interaction-7B
  3. [INFO] Vision encoder loaded
  4. [INFO] Video stream connected: /dev/video0
  5. [INFO] ASR model loaded: whisper-base
  6. [INFO] TTS model loaded: edge-tts
  7. [INFO] Agent system initialized
  8. [INFO] Server started at http://0.0.0.0:8000
  9. [INFO] Ready for real-time interaction!
复制代码

六、API调用示例

服务启动后，可以通过WebSocket或HTTP API与之交互：
  2. import asyncio
  3. import websockets
  4. import json
  6. async def test_interaction():
  7.     uri = "ws://localhost:8000/ws"
  8.     async with websockets.connect(uri) as websocket:
  9.         # 发送视频流+语音
  10.         await websocket.send(json.dumps({
  11.             "type": "start_stream",
  12.             "video_source": 0,
  13.             "audio": true
  14.         }))
  15.         
  16.         # 接收实时响应
  17.         while True:
  18.             response = await websocket.recv()
  19.             data = json.loads(response)
  20.             
  21.             if data["type"] == "transcription":
  22.                 print(f"[用户] {data['text']}")
  23.             elif data["type"] == "response":
  24.                 print(f"[AI] {data['text']}")
  25.             elif data["type"] == "visual_observation":
  26.                 print(f"[观察] {data['description']}")
  28. asyncio.run(test_interaction())
复制代码

七、进阶：自定义Agent工具

JoyAI-VL-Interaction支持"后台委托"机制，可以自定义工具：
  2. from joyai_vl_interaction.agent import BaseTool
  4. class MyCustomTool(BaseTool):
  5.     name = "stock_query"
  6.     description = "查询股票实时行情"
  7.    
  8.     async def run(self, stock_code: str):
  9.         # 调用你的股票API
  10.         import requests
  11.         resp = requests.get(f"https://api.example.com/stock/{stock_code}")
  12.         return resp.json()
  14. # 注册工具
  15. server.register_tool(MyCustomTool())
复制代码

八、常见问题

[Q] 启动时报"CUDA out of memory"怎么办？
[A] 尝试以下方案：


[Q] 视频流延迟很高？
[A] 优化建议：


[Q] 如何接入监控摄像头RTSP流？
[A] 修改config.yaml：
  2. video:
  3.   source: "rtsp://admin:password@192.168.1.100:554/stream1"
  4.   buffer_size: 1024
复制代码

[Q] 模型不主动说话？
[A] 检查interaction配置：
  2. interaction:
  3.   proactive: true
  4.   silence_timeout: 3.0  # 降低沉默阈值
  5.   trigger_keywords: ["快看", "注意", "危险"]  # 添加触发词
复制代码

九、应用场景拓展



十、总结

JoyAI-VL-Interaction的发布标志着AI交互从"被动响应"进入"主动观察"时代。通过本文的部署指南，你已经可以搭建一个支持实时视频理解、主动交互、后台任务委托的AI系统。

相比传统方案，它的核心优势在于：


项目地址：https://huggingface.co/jd-ai/JoyAI-VL-Interaction-7B
文档：https://github.com/jd-ai/joyai-vl-interaction

如果你成功部署了，欢迎在评论区分享你的应用场景！



欢迎光临 闲社 (https://www.xianshe.com/) Powered by Discuz! X5.0