⌕/
Multimodal AI · Scientific Figure Reasoning

AuroraTrace

Overview

AuroraTrace 将图表解析为可追溯的证据路径，再由轻量验证器检查答案与证据的一致性；论文故事聚焦 可验证的科学图表推理，而不是只提高最终准确率。

在 Synthetic FigureQA 的同一测试协议下，评测 证据定位、答案正确率与校准误差；同时检查模型面对遮挡、坐标轴扰动与单位变化时的鲁棒性。

最佳预期：主任务准确率超过强视觉语言基线至少 3 pp，证据召回率超过 90%，并将 ECE 控制在 5% 以下。

Docs

doc

定义 AuroraTrace 的证据路径、验证目标与最小训练循环。

doc

在比较任何结果前必须保持一致的配置与验证项。

Benchmark

benchmark
  • 任务：从单张合成科学图表回答数值或比较问题。
  • 输入：图表、问题与候选单位。
  • 输出：答案与对应证据点。
  • 规模：4,800 train / 800 validation / 1,200 test。
  • 指标：Answer Accuracy ↑、Evidence Recall ↑、ECE ↓。
benchmark
  • 任务：测试坐标轴范围、刻度密度与单位变化下的泛化。
  • 输入：由 Clean split 生成的受控扰动图表。
  • 输出：答案、单位与证据路径。
  • 规模：600 test；每个原样本只改变一种轴属性。
  • 指标：Accuracy ↑、Unit Error ↓。
benchmark
  • 任务：测试图例部分遮挡时的曲线与系列识别。
  • 输入：轻度 20% 与重度 45% 两级遮挡。
  • 输出：答案与系列身份。
  • 规模：400 easy / 400 hard。
  • 指标：Accuracy ↑、Series Recall ↑。

Baseline

ours

证据路由器与答案验证器组成的可追溯图表推理模型。

internal

相同视觉语言骨干的直接答案生成基线。

internal

保留证据路由、移除答案验证器的消融版本。

internal

不显式路由证据，仅在最终答案后运行一致性验证器。

Insight

ClaimEvidence sourcesTag

显式证据路由能够同时提高答案正确率与证据可追溯性。

—
—

验证器的主要收益来自减少单位与坐标轴读取错误，而不是增加模型容量。

—
—

当前方法对重度图例遮挡仍然敏感，鲁棒性收益尚未稳定。

—
—

Journal

--:--:--

Remark

REM
主结果趋势已经稳定
Show detail

三组 seed 的方法排序一致；下一步不再增加普通主表变体。

REM
验证器主要改善校准
Show detail

论文中应将验证器定位为 可靠性组件，避免把全部 Accuracy 收益归因给它。

REM
遮挡实验暂不支持强结论
Show detail

当前仅完成 seed 11；图例遮挡部分应标记为进行中。

Todo

补齐遮挡鲁棒性种子
Show detail

运行 seed 23 与 47，并检查 Series Recall 是否保持相同趋势。

冻结主结果表
Show detail

核对协议版本与三组 seed 后导出论文表格。

完成方法图草稿
Show detail

把 Router → Decoder → Verifier 画成三阶段流程图。

Experiment

Main results
Ablations
Robustness
Select experiment tables above to place them on the canvas