Qwen-Image-2.1-viewpoint-orbit-LoRA

Qwen-Image-2.1-viewpoint-orbit-LoRA是个适配通义Qwen-Image-2.1的RGBA视角环绕的LoRA。输入一张带透明背景（RGBA）的物体图片 + 相机相对转动指令，模型输出同一物体目标角度的透明RGBA图像，用于3D视角变换、产品多角度素材生成。

基础信息

• 基础模型：Qwen/Qwen-Image-2.1，bf16、未量化
• LoRA配置：rank32 / alpha32；768px分辨率训练2000步，A100-80GB单卡训练，约2.2秒/步
• 训练工具：ostris/ai-toolkit，qwen_image_2架构，开启rgba通道支持
• 训练数据集：Google Scanned Objects合成环绕渲染数据集 gso-orbit-rgba，包含渲染图、姿态元数据、样本划分

指令语法

使用专属<orbit>标记作为指令开头。方位角是相对原图视角，仰角为绝对角度，整套训练集一共23条指令，每条80~81组样本，合计1844对训练数据。

可用指令句式

1. 旋转方位：<orbit> rotate the camera {45|90|135|180} degrees to the {left|right}, {low angle|eye level|elevated}>
   

   180度无需写左/右：<orbit> rotate the camera 180 degrees, eye level

2. 仅调整仰角、方位不变（占训练样本20%）：<orbit> keep the camera angle, {low angle|elevated}

推理时建议追加后缀提示：The image has alpha channel and the background is transparent.
A/B测试显示，增加该语句后alpha IoU从0.798提升至0.830，透明通道保留效果更好。

评测指标（160组留出测试，40个扫描物体，每组4个目标视角，768px，40推理步）

按旋转角度拆分alpha IoU：45°=0.835，90°=0.773，180°=0.835。
90度旋转是最难场景，需要模型补全物体被遮挡的隐藏面；该LoRA在500/1000/1500/2000多个检查点中，2000步版本所有指标全面最优，不存在指标取舍权衡。

域外泛化测试

选取12张T2I生成的透明物体素材：卡通吉祥物、运动鞋、扶手椅、机器人玩具、盆栽、游戏角色、香水瓶、背包、耳机、咖啡杯、台灯、橡皮鸭。
沿45°增量水平环绕生成7个连续视角，全部基于原图推理，不基于模型生成图二次推演。项目仓库附带转盘动图，直观查看连续旋转效果。

能力短板（真实定性观察）

1. 透明度稳定性：84个测试视图的alpha覆盖率稳定维持0.45~0.49，不会蒙版塌陷、背景渗漏。
2. 物体身份漂移：小角度45°旋转物体细节保留很好；多次叠加旋转至180~315°，物体轮廓大体合理，但logo、带子、把手这类精细细节容易被模型重绘，无法完全原样保留。
3. 光照风格迁移：模型在影棚干净光照扫描数据训练；输入自带烘焙阴影的素材时，模型有时直接沿用原图阴影，不会为新视角重新计算光照。

模型限制

1. 训练数据仅限Google扫描家居物体，影棚布光、无地面；其他物体尺度、材质的效果未做评测。
2. 只支持相对相机转动，不存在“正面”这类绝对姿态定义，相机永远以输入图片作为基准进行移动。
3. 仰角仅覆盖训练区间：低角度约−20°、人眼平视、抬高视角约+40°，超出区间效果不可控。
4. 90度视角生成难度最高，需要推理隐藏面，指标低于小角度旋转。
5. 许可证约束：基于Qwen RESEARCH LICENSE，仅限非商业使用。仅新增LoRA权重，不修改、不分发基础模型文件。

训练参数细节

• 素材：每个物体预渲染24个视图（8方位 ×3仰角），768×768 RGBA透明图，三点照明；物体居中占画面55–65%，过小物体直接过滤，筛选后501个可用物体，461组用于训练，40组留出测试。
• 训练配置：adamw8bit，梯度检查点，缓存文本嵌入，lr=1e-4，batch size=1，2000步，每500步保存检查点，损失曲线稳定无发散。

适用场景

产品素材多角度生成、3D原型快速转盘渲染、游戏角色/道具多视图素材制作，快速生成一系列带透明背景的物体环绕图。