soybean

明白，聚焦到扩散模型本身怎么搭。先定一个贯穿始终的设计原则，否则容易走回"从零训练 + 指望模型自己学物理"的死胡同：

物理放进程序化的"条件图"，外观交给学习到的扩散渲染器。 扩散模型不负责"发明"变异（转茎、减叶），它只负责把一张你已经按物理规则摆好的结构图，渲染成真实感图像、并把因转/减产生的空洞补好。这样"符合物理"是构造保证的，而不是训出来碰运气的。而且关键前提：别从零训，你数据量撑不起，要在预训练扩散模型上做轻量微调。

整个系统分两个阶段——训练一个"会画大豆"的条件渲染器，和推理时用程序化条件图去驱动它：下面是每一步具体怎么做。

训练阶段：把预训练扩散模型调成"会画大豆的条件渲染器"

先定条件信号用哪种。ControlNet 有现成的 seg canny softedge(HED) lineart depth 几类。对大豆这种"茎线 + 叶片轮廓"的结构，建议用分割图或 softedge/lineart——它们能稳稳锁住叶茎布局，又给纹理留自由度。如果现成 ControlNet 抓不准植物结构，再考虑用你自己的配对数据轻量微调一个。

数据准备。 对你每张真实图跑 SAM3，得到叶/主茎/支茎的实例 mask，由此渲染出对应的"条件图"（比如器官着色的分割图，或叶茎轮廓线稿）。这样每张真实图就变成一组 (真实图, 条件图) 配对——这是 ControlNet 的训练样本。你之前那套 PS 增广（转茎、减叶）在这里是合法的：它在教 ControlNet"这种结构→这种外观"，而不是去学一个新分布。但要清醒：数据极少时微调极易过拟合，多搞几张真实图（哪怕每基因型 5–10 张）是回报最高的一件事，比任何调参都管用。

域微调（LoRA / DreamBooth）。 在预训练底模（SDXL 或一个当前较强的底模）上训一个 LoRA，让输出在纹理、三出复叶形状、叶色上像真大豆。再给每个基因型一个专属 token（如 soybean）做 DreamBooth——前面说过，外观身份是能从一张图学到的，这正是 token 该干的事。工具用 diffusers 或 kohya_ss，rank 16–32、低学习率、几百到几千步即可，注意早停防过拟合。

ControlNet。 数据少时优先"现成 ControlNet + 你的域 LoRA"组合，而不是从零训 ControlNet（后者要的数据量大得多）。若必须，拿现成 ControlNet 在你的配对上轻量 finetune。

推理阶段：程序化条件图来驱动变异

这是产生"转茎、减叶、且符合物理"的引擎，变异全在这里发生，不靠扩散去猜：

把 SAM3 分出的真实植株抽象成一个 2D 参数化布局——主茎折线、各支茎的着生点与角度、每片叶的着生点/朝向/大小。每生成一个样本，就从该基因型的参数分布里抽具体值：支茎旋转 Δθ∼U(10°,30°)、减叶 k 片（k∼{1,2,3}）、可顺带抖动叶角和节间长。然后按变换后的布局重画一张条件图。约束写在这一步：叶子只能出现在合法着生点、角度有上下限、转支茎时挂在上面的叶要跟着转、不能凭空冒叶。产出的每张条件图，按构造就是物理合理的。

接着对每张条件图跑扩散：底模 + 域 LoRA + 基因型 token，经 ControlNet 以条件图为结构约束生成图像；转/减产生的遮挡空洞，用 inpainting（SD inpaint 或 ControlNet inpaint）自然补全。每个基因型生成 N 张变体。

质量筛选。 生成后做一道过滤——用 CLIP 跟该基因型参考图算相似度，或训个小分类器，剔除畸形/不像的，再送进 TRELLIS。

两点必须先想清楚的话

第一，这个扩散模型给你的是 2D 外观和 2D 结构的多样性，它修不了 LAI 问题。 每张变体图进 TRELLIS 后，3D 叶面积（尤其被遮挡的）仍是 TRELLIS 脑补的。所以扩散这步的价值是"让冠层里的植株看起来多样、真实"，对你最终那个定量验证的帮助有限——别期待它能让 LAI 对上。

第二，你可能根本不需要扩散。 如果你只是要"很多张有变异的大豆图"，直接把 SAM3 分出的器官按布局做程序化拼贴 + 旋转 + 简单补洞就够了，省掉训练。扩散唯一的增量价值是：接缝/光照更自然、遮挡区补得更可信。如果你后续 TRELLIS 对图像真实感不敏感（它本来就在脑补几何），那纯拼贴的性价比可能更高。先想清楚扩散是不是真的在解决你的瓶颈，再决定要不要花这份训练成本。

你打算用哪种条件信号（分割图还是线稿），以及现在每个基因型大概能拿到几张真实图？这两点定了，我可以把训练配置和程序化条件图的生成脚本思路再写细。