Traffic Crash Analysis

交通事故视频理解领域的模型、数据集与工具整合。

核心项目

1. CrashChat

论文: CrashChat: A Multimodal Large Language Model for Multitask Traffic Crash Video Analysis (2025)

GitHub: https://github.com/Liangkd/CrashChat

HuggingFace:

• - 模型: https://huggingface.co/KDliang/crashchat
• 数据集: https://huggingface.co/datasets/KDliang/CrashChat

核心特性:

• - 基于 VideoLLaMA-3 7B 的多模态大语言模型
• 支持 6 大任务:

• - 数据规模: 18,385 视频，96,184 video-QA 对
• 训练策略: 独立单任务 / 同质多任务 / 异质多任务

任务分类:

• - Linguistic-centric: crash recognition, crash description, causal reasoning, prevention reasoning
• Perception-centric: pre-crash localization, crash localization

2. Traffix VideoQA (TUMTraf)

论文: A Benchmark for Unified Spatio-Temporal Video Understanding in Traffic Scenes

主页: https://traffix-videoqa.github.io/

核心特性:

• - 交通场景时空视频理解基准
• 数据规模: 1,000 视频，85,000 多选 QA 对
• 支持 3 大任务:

• - 特色: tuple-based 时空对象表达，恶劣天气场景
• 基线模型: TraffiX-Qwen（视觉 token 采样策略）

模型对比

使用场景

CrashChat 适用场景

• - 事故原因分析（为什么会发生碰撞？）
• 预防措施建议（如何避免类似事故？）
• 事故时间定位（碰撞发生在第几秒？）
• 事故描述生成（详细描述事故过程）

Traffix VideoQA 适用场景

• - 交通监控视频问答
• 特定对象定位（找到红色轿车）
• 时空关系理解（两车何时相遇？）
• 恶劣条件下的场景理解

快速开始

CrashChat 安装

CODEBLOCK0

模型权重下载

从 HuggingFace 下载预训练权重:

# 基线模型
huggingface-cli download KDliang/crashchat --local-dir ./ckpt

# 或按任务下载
# ckpt/videollama3_baseline
# ckpt/heterogeneous_multitask (推荐：全任务版本)

训练与评估

训练命令

CODEBLOCK2

评估流程

CODEBLOCK3

资源导航

数据集

• - CrashChat Dataset: https://huggingface.co/datasets/KDliang/CrashChat
• TUMTraf VideoQA: https://traffix-videoqa.github.io/

论文

• - CrashChat: https://arxiv.org/abs/2512.18878
• Traffix VideoQA: 见项目主页

模型权重

• - CrashChat-7B: https://huggingface.co/KDliang/crashchat/tree/main/ckpt
• VideoLLaMA-3 原版: https://huggingface.co/KDliang/crashchat/tree/main/videollama3originalmodel

References

详细文档见 references/ 目录:

• - models.md - 模型架构与训练策略详解
• INLINECODE2 - 数据集格式与标注说明
• INLINECODE3 - 六大任务定义与评估方法