视频广告分析器

使用Google Gemini Vision实现AI驱动的视频内容提取。

该技能的功能

• - 帧提取：通过场景变化检测实现智能采样
• OCR文本检测：使用EasyOCR提取文本叠加层
• 音频转录：通过Google Cloud Speech将语音转换为文本
• AI场景分析：使用Gemini Vision描述每个场景
• 原生视频分析：针对较长内容的直接视频理解
• 缩略图生成：从第一帧自动生成缩略图

设置

1. 环境变量

bash

Gemini Vision必需

音频转录必需

（同一服务账户需启用Speech-to-Text API）

2. 依赖项

bash
pip install opencv-python pillow easyocr ffmpeg-python google-cloud-speech vertexai google-api-python-client

还需在系统上安装ffmpeg和ffprobe。

使用方法

基础视频分析

python
from scripts.video_extractor import VideoExtractor
from scripts.models import ExtractedVideoContent
import vertexai
from vertexai.generative_models import GenerativeModel

初始化Vertex AI

创建提取器

分析视频

print(f时长: {result.duration}秒)
print(f场景数: {len(result.scene_timeline)})
print(f文本叠加层数: {len(result.text_timeline)})
print(f转录文本: {result.transcript[:200]}...)

仅提取帧

python
frames, timestamps, texttimeline, scenetimeline, thumbnail = extractor.extractsmartframes(
/path/to/video.mp4,
scene_interval=2, # 每2秒检查场景变化
text_interval=0.5 # 每0.5秒检查文本
)

分析图像

python

也适用于图像

输出结构

python
ExtractedVideoContent(
video_path=/path/to/video.mp4,
duration=30.5,
transcript=这是我们发现的内容...,
text_timeline=[
{at: 0.0, text: [立即下载]},
{at: 5.5, text: [今日五折优惠]}
],
scene_timeline=[
{timestamp: 0.0, description: 女性正在使用手机应用...},
{timestamp: 2.0, description: 产品展示，包含功能特点...}
],
thumbnailurl=/static/thumbnails/videothumb.jpg,
extraction_complete=True
)

关键特性

提示词

通过编辑prompts/文件夹中的提示词来自定义AI行为：

• - sceneanalysis.md - 帧分析提示词
• scenereconciliation.md - 场景丰富提示词

常见问题解答

• - 这个视频广告中出现了哪些文本？
• 描述这个创意中的每个场景
• 旁白说了什么？
• 从这个广告中提取行动号召