多模态与工具链

Multimodal 不是“这个模型支持图片，所以系统就支持多模态”。AI Engineer 需要为每一种输入定义 contract、处理链、证据位置、人工复核和评估方法。

先拆 Modality，再选工具

原生多模态模型适合直接理解页面或画面；专用 OCR、parser、STT 更适合需要稳定结构、批处理或精确定位的场景。选择取决于任务证据，不取决于宣传页写了多少种输入。

工程 Pipeline

upload
  → validate type / size / permission
  → extract with parser, OCR or STT
  → normalize
  → attach source / page / region / timestamp
  → model task
  → schema and domain validation
  → human review or automated action

RAG、Tool Calling 和 Agent 是下游架构选择。只有任务需要检索历史知识、调用外部动作或循环决策时才加入，不能与 Multimodal 混成一个概念。

Input 与 Output Contract

type MultimodalInput = {
	assetId: string;
	mediaType: 'image' | 'document' | 'audio' | 'video';
	mimeType: string;
	source: string;
	dataClass: 'public' | 'internal' | 'sensitive';
	permissionScope: string[];
};

type ExtractedField = {
	name: string;
	value: string | null;
	sourcePointer: { page?: number; region?: string; timestampMs?: number };
	reviewRequired: boolean;
	failureReason?: 'unreadable' | 'missing' | 'conflict' | 'unsupported';
};

模型自报的 confidence 不能当作正确率。真正的信任来自 source pointer、字段级验证和人工复核。

Capability Registry

每个可用组件至少登记：

• provider、exact model ID 或 tool version；
• endpoint、region 与 retention；
• 支持的 modality、格式、大小与页数限制；
• structured output、stream、batch 等能力；
• data class allowlist；
• checked_at、source 与 test status；
• owner、fallback、kill switch 与 retirement 状态。

产品订阅能上传文件，不代表 API、组织权限或部署地区已经开放。未知状态写 unavailable。

Evaluation Set

不要只测清晰样本。至少覆盖：

1. 正常、低分辨率、旋转、遮挡和小字；
2. 空文件、错误格式、加密或超限文件；
3. 中文、英文、数字、表格和手写边界；
4. OCR 与原图冲突；
5. 合成 PII、越权输入和日志泄露；
6. 应该 abstain 或进入人工复核的案例。

报告 field accuracy、source-pointer accuracy、abstention、review rate、latency 与 cost。视频还要记录 frame sampling 策略，音频要记录 speaker/timestamp 错误。

常见失败

练习：设计一个 Voice Documentation Capability

提交以下证据：

• Input Contract：格式、时长、语言、数据等级；
• Pipeline：upload → STT → editable transcript → human confirm；
• Output Schema：text、speaker、timestamp、review state；
• 8 条 eval cases，包括噪声、口音、空音频、PII 和失败回退；
• 一张 failure table，说明何时自动继续、何时人工确认。

自检

• 能解释为什么选择原生多模态或专用 preprocessing。
• 每条结果能回到 page、region、speaker 或 timestamp。
• 不确定结果不会被包装成确定事实。
• Multimodal、RAG、Tool Calling 与 Agent 的边界清楚。
• 成本包含 extraction、storage、model、logging 与 human review。