VARIABLE模型来做
内容理解
模型判断脚本重点、页面拆分和叙事结构。
视觉表现
模型生成需要风格、隐喻和表现力的视觉元素。
故障决策
Agent 根据失败原因选择调参、局部重做或停止。
金融内容与可视化
Narrative Visualization
把金融讲解稿做成有配音和动画的视频。
画面要跟着讲解出现，生成出错时也要能接着做。这个项目里，我们花了不少精力处理布局、音画同步和局部重做。
我们的工作
我们负责整体项目和技术方案，也参与核心开发，包括 Narrative DSL、Agent 工具和音画编排。
用在了哪里
系统已用于公司国内外业务、端内端外运营。部分工具和设计规则也用在了并购动画、信息图和图表生成中。
01 / BACKGROUND
画面生成之后，还有不少事要做
一段脚本要讲几页，每句话对应哪幅图，画面里的元素什么时候出现，都需要安排。生成图如果偏离了原来的布局，后面的裁剪和动画也会受影响。只把图片和配音拼起来，往往还不能直接使用。
我们的做法是把步骤拆开，模型负责理解脚本、规划画面，程序负责计算坐标、对齐时间和检查结果。出错了就把具体原因返回给 Agent，让它自己选是调参数还是重做当前画面。
02 / SCRIPT AND MEDIA
脚本、画面和声音要对得上
这些问题会相互影响：页面一改，区域坐标可能要跟着改；旁白一变，动画时间也得重算。
- 01
脚本
先理解讲解内容，再决定分成几页、每页画什么，以及每句话对应哪个画面区域。
- 02
布局
一张生成图里有多个区域。切开后，每个区域都要有完整内容，不能混入旁边的图或定位边框。
- 03
时间
根据 TTS 返回的每句起止时间，安排图形和文字出现的顺序，让观众听到一句话时能看到对应内容。
- 04
任务状态
已经完成的步骤会存下来，出错了就从出错的那一步接着跑，重试也有次数和预算限制，免得一直调模型。
03 / AGENT RUNTIME
系统怎样工作
Agent 可以调用生图、配音和图片处理工具。每次调用后，它会拿到处理结果或错误原因，再决定下一步。
- 01MODEL
规划
拆脚本、定页面、规划区域与叙事顺序
- 02MODEL
调用工具
调用生图、TTS、切分与参数调整工具
- 03CODE
检查结果
读取区域匹配、裁剪和边框检测结果
- 04MODEL
选择处理方式
根据错误原因决定调参、重做或停止
- 05MODEL
局部重试
调整裁剪参数，或重新生成当前画面
- 06CODE
合成前检查
区域和图片检查通过后，进入合成
- 07CODE
输出视频
按每句话的时间安排动画，渲染成片
模型决定下一步调用哪个工具。程序限制可用工具、重试次数和预算，并在合成前检查图片是否可用。
04 / MODELS AND CODE
哪些让模型做，哪些用代码做
坐标和时间可以直接计算，没必要让模型猜。脚本重点、画面表达和失败后的处理方式，则需要模型结合上下文判断。
INVARIANT代码来做
结构与坐标
用 SVG 和程序规则生成页面框架、安全边距和区域参考图。
媒体时间
按每句话的起止时间安排元素出场和渲染。
结果检查
区域匹配、非空裁剪、边框残留和重试上限由代码检查。
05 / RECOVERY
生成出错时，怎样接着做
下面是几个具体问题。能通过重新裁剪解决的，就先调整参数；确实需要重画时，只处理当前画面。
F-01
区域互相压住
模型轻微改变布局后，按原坐标切图会得到混合区域。
- 怎么发现的
- CV 检测区域边界与规划参考图不一致
- 怎么接着做
- 重新匹配边界；无法恢复时只重生成当前画面
F-02
边框被模型改写
颜色、粗细或形状漂移会把定位用的框线带进最终素材。
- 怎么发现的
- 裁剪结果仍存在边框颜色残留
- 怎么接着做
- 调整裁剪与去边参数，再跑同一组硬校验
F-03
裁剪结果为空
检测到了区域，但实际有效内容不足，后续动画无法使用。
- 怎么发现的
- 有效像素与内容占比未通过非空检查
- 怎么接着做
- 返回结构化 ToolResult，由 Agent 决定调参或重画
06 / CONTEXT AND GUIDANCE
Agent 需要哪些信息
除了脚本，Agent 还需要知道当前做到哪一步、哪里出了问题，以及可以参考哪些设计规则。
- 01
当前任务
规划、工具调用和已经完成的步骤都记在任务状态里，Agent 根据这些选下一步，程序负责检查权限和停止条件。
- 02
检查结果
区域匹配、裁剪和边框检查会返回具体结果，说明图片哪里还不能用。
- 03
设计规则
叙事、布局和图表规则整理成了 Skill，Agent 生成时可以查，后面要改也方便。
07 / FEEDBACK
这次改好的，下次还能用
生成的次数多了，效果也不会自己变好，得有人把效果好的布局、表达方式和出过的问题整理出来，审核后更新到 Skill 和检查程序里，后面的任务才用得上。单次生成出了偏差，由检查程序指出来，Agent 局部修完再查一遍，重试花的时间和模型预算都有上限，到了上限就停下来、降级处理或者转给人工。
08 / OTHER USES
后来用到的几个场景
除了白板视频，脚本理解、音画编排和图片检查也用在了下面这些内容里。
NARRATIVEAGENT
RUNTIMEDSL · TOOLS · GATES · SKILLS
RUNTIMEDSL · TOOLS · GATES · SKILLS
白板叙事视频
脚本拆页、区域生成、句级配音与手绘动画。
并购动画
将并购过程拆成动画动作，再按旁白安排时间。
信息图生成
参考叙事和布局 Skill，生成信息图。
图表生成
让 Agent 调用 Standard Chart，并参考图表设计规则。
09 / MY WORK
我们的职责
我们负责整体项目和技术方案，也参与核心开发，包括 Narrative DSL、Agent 工具和音画编排。
PacificVis 2024 入围的早期团队研究作品。此视频不是当前生产系统的运行演示。
- 01
确定分步生成和局部重试的技术方案。
- 02
设计脚本规划、Narrative DSL、音画时间协议和中间文件结构。
- 03
将生图、CV 切分、图片检查和参数调整接入 Agent 工具。
- 04
参与核心开发，将相关工具用于白板视频、动画、信息图和图表。