DiePre 视觉认知技能

元数据

学术参考文献

本视觉框架的技术路线受以下前沿研究启发：

1. 1. 使用视觉语言模型生成CAD代码 — VLM生成CAD代码+迭代验证（CADCodeVerify），直接升级照片→DXF管道
2. 从二维CAD到三维参数化模型 via VLM — 二维图纸→参数化三维模型，解决透视矫正和参数化问题
3. 工具增强型VLLM作为通用CAD任务求解器 (ICCV 2025) — VLLM+工具调用实现通用CAD，封装OpenCV管道为可调用技能
4. 高效视觉-语言-动作模型 — VLA高效优化（低延迟+内存优化），适合本地部署
5. Vlaser：协同具身推理 — 具身推理VLA，未来照片→动作决策的理论基础

核心能力

将 DiePre（模切压痕）机器视觉感知与 SOUL 认知框架融合：

1. 1. 视觉已知/未知分离：从图像中提取确定特征（已知）与模糊区域（未知）
2. 文件记忆：每次检测结果写入 vision_log/YYYY-MM-DD.jsonl
3. 四向视觉碰撞：正视角、反转、侧光、整体布局四个维度同时分析
4. 人机闭环质检：AI 初判 → 人类复核 → 标注反馈 → 模型持续进化
5. 置信度质检输出：低于 90% 置信度的缺陷自动升级为人工复核

安装命令

bash
clawhub install diepre-vision-cognition

或手动安装

调用方式

python
from skills.dieprevisioncognition import DiePrevisionCognition

vision = DiePrevisionCognition(workspace=.)
result = vision.analyze(
image_path=path/to/dieline.png,
context={material: corrugated, thickness_mm: 3.0}
)

print(result.confidence) # 置信度
print(result.defects) # 检测到的缺陷列表
print(result.collision_log) # 四向分析详情