搜索文章

输入关键词开始搜索
返回代表作品项目笔记 / 042024—2026

金融内容与可视化

Narrative Visualization

把金融讲解稿做成有配音和动画的视频。

系统围绕布局生成、音画同步与局部重试,组织金融讲解视频的生成流程。

白板叙事视频 · 系统生成的金融讲解视频成片,点击播放观看
本人职责

负责整体项目和技术方案设计,也参与初期的部分核心开发。

用在了哪里

系统已用于公司国内外业务、端内端外运营。部分工具和设计规则也用在了并购动画、信息图和图表生成中。

01 / BACKGROUND

从画面生成到视频合成

一段脚本要讲几页,每句话对应哪幅图,画面里的元素什么时候出现,都需要安排。生成图如果偏离了原来的布局,后面的裁剪和动画也会受影响。只把图片和配音拼起来,往往还不能直接使用。

我们的做法是把步骤拆开,模型负责理解脚本、规划画面,程序负责计算坐标、对齐时间和检查结果。出错了就把具体原因返回给 Agent,让它自己选是调参数还是重做当前画面。

02 / SCRIPT AND MEDIA

脚本、布局与音画同步

这些问题会相互影响:页面一改,区域坐标可能要跟着改;旁白一变,动画时间也得重算。

  1. 01

    脚本

    先理解讲解内容,再决定分成几页、每页画什么,以及每句话对应哪个画面区域。

  2. 02

    布局

    一张生成图里有多个区域。切开后,每个区域都要有完整内容,不能混入旁边的图或定位边框。

  3. 03

    时间

    根据 TTS 返回的每句起止时间,安排图形和文字出现的顺序,让观众听到一句话时能看到对应内容。

  4. 04

    任务状态

    持久化已完成的步骤,从失败节点恢复执行,并限制重试次数与模型调用预算。

03 / AGENT RUNTIME

系统怎样工作

Agent 可以调用生图、配音和图片处理工具。每次调用后,它会拿到处理结果或错误原因,再决定下一步。

  1. 01MODEL

    规划

    拆脚本、定页面、规划区域与叙事顺序

  2. 02MODEL

    调用工具

    调用生图、TTS、切分与参数调整工具

  3. 03CODE

    检查结果

    读取区域匹配、裁剪和边框检测结果

  4. 04MODEL

    选择处理方式

    根据错误原因决定调参、重做或停止

  5. 05MODEL

    局部重试

    调整裁剪参数,或重新生成当前画面

  6. 06CODE

    合成前检查

    区域和图片检查通过后,进入合成

  7. 07CODE

    输出视频

    按每句话的时间安排动画,渲染成片

模型决定下一步调用哪个工具。程序限制可用工具、重试次数和预算,并在合成前检查图片是否可用。

04 / MODELS AND CODE

哪些让模型做,哪些用代码做

坐标与时序由程序计算;脚本重点、视觉表达和失败处理方式由模型结合上下文判断。

VARIABLE模型来做
  • 内容理解

    模型判断脚本重点、页面拆分和叙事结构。

  • 视觉表现

    模型生成需要风格、隐喻和表现力的视觉元素。

  • 故障决策

    Agent 根据失败原因选择调参、局部重做或停止。

INVARIANT代码来做
  • 结构与坐标

    用 SVG 和程序规则生成页面框架、安全边距和区域参考图。

  • 媒体时间

    按每句话的起止时间安排元素出场和渲染。

  • 结果检查

    区域匹配、非空裁剪、边框残留和重试上限由代码检查。

05 / RECOVERY

生成出错时,怎样接着做

下面是几个具体问题。能通过重新裁剪解决的,就先调整参数;确实需要重画时,只处理当前画面。

F-01

区域互相压住

模型轻微改变布局后,按原坐标切图会得到混合区域。

怎么发现的
CV 检测区域边界与规划参考图不一致
怎么接着做
重新匹配边界;无法恢复时只重生成当前画面
F-02

边框被模型改写

颜色、粗细或形状漂移会把定位用的框线带进最终素材。

怎么发现的
裁剪结果仍存在边框颜色残留
怎么接着做
调整裁剪与去边参数,再跑同一组硬校验
F-03

裁剪结果为空

检测到了区域,但实际有效内容不足,后续动画无法使用。

怎么发现的
有效像素与内容占比未通过非空检查
怎么接着做
返回结构化 ToolResult,由 Agent 决定调参或重画

06 / CONTEXT AND GUIDANCE

Agent 需要哪些信息

除了脚本,Agent 还需要知道当前做到哪一步、哪里出了问题,以及可以参考哪些设计规则。

  1. 01

    当前任务

    规划、工具调用和已经完成的步骤都记在任务状态里,Agent 根据这些选下一步,程序负责检查权限和停止条件。

  2. 02

    检查结果

    区域匹配、裁剪和边框检查会返回具体结果,说明图片哪里还不能用。

  3. 03

    设计规则

    叙事、布局和图表规则整理成了 Skill,Agent 生成时可以查,后面要改也方便。

07 / FEEDBACK

设计经验复用

将优质布局、表达方式和失败案例整理为设计规则,经审核后更新到 Skill 和检查程序中,供后续任务复用。单次生成中的偏差由程序检测,Agent 局部修复后重新检查;重试受时间和模型预算约束,达到上限后停止、降级或转由人工处理。

08 / OTHER USES

后来用到的几个场景

除了白板视频,脚本理解、音画编排和图片检查也用在了下面这些内容里。

NARRATIVEAGENT
RUNTIME
DSL · TOOLS · GATES · SKILLS
01

白板叙事视频

脚本拆页、区域生成、句级配音与手绘动画。

02

并购动画

将并购过程拆成动画动作,再按旁白安排时间。

03

信息图生成

参考叙事和布局 Skill,生成信息图。

04

图表生成

让 Agent 调用 Standard Chart,并参考图表设计规则。

  1. 01

    负责整体项目与技术方案设计,涵盖内容生成和多渠道使用

  2. 02

    定义 Narrative DSL、音画时间协议和 Agent 工具接口

  3. 03

    参与初期部分核心模块开发,涉及图片校验与失败恢复

AI-nativeAgent RuntimeNarrative DSLQuality GatesVisual Skills
早期研究作品