内容理解
模型判断脚本重点、页面拆分和叙事结构。
视觉表现
模型生成需要风格、隐喻和表现力的视觉元素。
故障决策
Agent 根据失败原因选择调参、局部重做或停止。
金融内容与可视化
Narrative Visualization
把金融讲解稿做成有配音和动画的视频。
系统围绕布局生成、音画同步与局部重试,组织金融讲解视频的生成流程。
负责整体项目和技术方案设计,也参与初期的部分核心开发。
系统已用于公司国内外业务、端内端外运营。部分工具和设计规则也用在了并购动画、信息图和图表生成中。
01 / BACKGROUND
从画面生成到视频合成
一段脚本要讲几页,每句话对应哪幅图,画面里的元素什么时候出现,都需要安排。生成图如果偏离了原来的布局,后面的裁剪和动画也会受影响。只把图片和配音拼起来,往往还不能直接使用。
我们的做法是把步骤拆开,模型负责理解脚本、规划画面,程序负责计算坐标、对齐时间和检查结果。出错了就把具体原因返回给 Agent,让它自己选是调参数还是重做当前画面。
02 / SCRIPT AND MEDIA
脚本、布局与音画同步
这些问题会相互影响:页面一改,区域坐标可能要跟着改;旁白一变,动画时间也得重算。
- 01
脚本
先理解讲解内容,再决定分成几页、每页画什么,以及每句话对应哪个画面区域。
- 02
布局
一张生成图里有多个区域。切开后,每个区域都要有完整内容,不能混入旁边的图或定位边框。
- 03
时间
根据 TTS 返回的每句起止时间,安排图形和文字出现的顺序,让观众听到一句话时能看到对应内容。
- 04
任务状态
持久化已完成的步骤,从失败节点恢复执行,并限制重试次数与模型调用预算。
03 / AGENT RUNTIME
系统怎样工作
Agent 可以调用生图、配音和图片处理工具。每次调用后,它会拿到处理结果或错误原因,再决定下一步。
- 01MODEL
规划
拆脚本、定页面、规划区域与叙事顺序
- 02MODEL
调用工具
调用生图、TTS、切分与参数调整工具
- 03CODE
检查结果
读取区域匹配、裁剪和边框检测结果
- 04MODEL
选择处理方式
根据错误原因决定调参、重做或停止
- 05MODEL
局部重试
调整裁剪参数,或重新生成当前画面
- 06CODE
合成前检查
区域和图片检查通过后,进入合成
- 07CODE
输出视频
按每句话的时间安排动画,渲染成片
模型决定下一步调用哪个工具。程序限制可用工具、重试次数和预算,并在合成前检查图片是否可用。
04 / MODELS AND CODE
哪些让模型做,哪些用代码做
坐标与时序由程序计算;脚本重点、视觉表达和失败处理方式由模型结合上下文判断。
结构与坐标
用 SVG 和程序规则生成页面框架、安全边距和区域参考图。
媒体时间
按每句话的起止时间安排元素出场和渲染。
结果检查
区域匹配、非空裁剪、边框残留和重试上限由代码检查。
05 / RECOVERY
生成出错时,怎样接着做
下面是几个具体问题。能通过重新裁剪解决的,就先调整参数;确实需要重画时,只处理当前画面。
区域互相压住
模型轻微改变布局后,按原坐标切图会得到混合区域。
- 怎么发现的
- CV 检测区域边界与规划参考图不一致
- 怎么接着做
- 重新匹配边界;无法恢复时只重生成当前画面
边框被模型改写
颜色、粗细或形状漂移会把定位用的框线带进最终素材。
- 怎么发现的
- 裁剪结果仍存在边框颜色残留
- 怎么接着做
- 调整裁剪与去边参数,再跑同一组硬校验
裁剪结果为空
检测到了区域,但实际有效内容不足,后续动画无法使用。
- 怎么发现的
- 有效像素与内容占比未通过非空检查
- 怎么接着做
- 返回结构化 ToolResult,由 Agent 决定调参或重画
06 / CONTEXT AND GUIDANCE
Agent 需要哪些信息
除了脚本,Agent 还需要知道当前做到哪一步、哪里出了问题,以及可以参考哪些设计规则。
- 01
当前任务
规划、工具调用和已经完成的步骤都记在任务状态里,Agent 根据这些选下一步,程序负责检查权限和停止条件。
- 02
检查结果
区域匹配、裁剪和边框检查会返回具体结果,说明图片哪里还不能用。
- 03
设计规则
叙事、布局和图表规则整理成了 Skill,Agent 生成时可以查,后面要改也方便。
07 / FEEDBACK
设计经验复用
将优质布局、表达方式和失败案例整理为设计规则,经审核后更新到 Skill 和检查程序中,供后续任务复用。单次生成中的偏差由程序检测,Agent 局部修复后重新检查;重试受时间和模型预算约束,达到上限后停止、降级或转由人工处理。
08 / OTHER USES
后来用到的几个场景
除了白板视频,脚本理解、音画编排和图片检查也用在了下面这些内容里。
RUNTIMEDSL · TOOLS · GATES · SKILLS
白板叙事视频
脚本拆页、区域生成、句级配音与手绘动画。
并购动画
将并购过程拆成动画动作,再按旁白安排时间。
信息图生成
参考叙事和布局 Skill,生成信息图。
图表生成
让 Agent 调用 Standard Chart,并参考图表设计规则。
- 01
负责整体项目与技术方案设计,涵盖内容生成和多渠道使用
- 02
定义 Narrative DSL、音画时间协议和 Agent 工具接口
- 03
参与初期部分核心模块开发,涉及图片校验与失败恢复
