Qwen-Image-2.1-viewpoint-orbit-LoRA

265 00

Qwen-Image-2.1-viewpoint-orbit-LoRA是个适配通义Qwen-Image-2.1的RGBA视角环绕的LoRA。输入一张带透明背景(RGBA)的物体图片 + 相机相对转动指令,模型输出同一物体目标角度的透明RGBA图像,用于3D视角变换、产品多角度素材生成。

作者
ML-Intern-lab
基础模型
Qwen-Image-2.1
Qwen-Image-2.1-viewpoint-orbit-LoRA

Qwen-Image-2.1-viewpoint-orbit-LoRA是个适配通义Qwen-Image-2.1的RGBA视角环绕的LoRA。输入一张带透明背景(RGBA)的物体图片 + 相机相对转动指令,模型输出同一物体目标角度的透明RGBA图像,用于3D视角变换、产品多角度素材生成。

Qwen-Image-2.1-viewpoint-orbit-LoRA

基础信息

  • 基础模型:Qwen/Qwen-Image-2.1,bf16、未量化
  • LoRA配置:rank32 / alpha32;768px分辨率训练2000步,A100-80GB单卡训练,约2.2秒/步
  • 训练工具:ostris/ai-toolkit,qwen_image_2架构,开启rgba通道支持
  • 训练数据集:Google Scanned Objects合成环绕渲染数据集 gso-orbit-rgba,包含渲染图、姿态元数据、样本划分

指令语法

使用专属<orbit>标记作为指令开头。方位角是相对原图视角,仰角为绝对角度,整套训练集一共23条指令,每条80~81组样本,合计1844对训练数据。

可用指令句式

  1. 旋转方位:<orbit> rotate the camera {45|90|135|180} degrees to the {left|right}, {low angle|eye level|elevated}>

    180度无需写左/右:<orbit> rotate the camera 180 degrees, eye level

  2. 仅调整仰角、方位不变(占训练样本20%):<orbit> keep the camera angle, {low angle|elevated}

推理时建议追加后缀提示:The image has alpha channel and the background is transparent.
A/B测试显示,增加该语句后alpha IoU从0.798提升至0.830,透明通道保留效果更好。

评测指标(160组留出测试,40个扫描物体,每组4个目标视角,768px,40推理步)

配置alpha IoU ↑LPIPS ↓PSNR ↑DINOv2 sim ↑
基础模型,普通提示词0.7270.09721.740.714
基础模型,<orbit>专用语法0.7310.09921.740.713
Orbit Alpha LoRA(2000步)0.7940.09022.340.734

按旋转角度拆分alpha IoU:45°=0.835,90°=0.773,180°=0.835。
90度旋转是最难场景,需要模型补全物体被遮挡的隐藏面;该LoRA在500/1000/1500/2000多个检查点中,2000步版本所有指标全面最优,不存在指标取舍权衡。

域外泛化测试

选取12张T2I生成的透明物体素材:卡通吉祥物、运动鞋、扶手椅、机器人玩具、盆栽、游戏角色、香水瓶、背包、耳机、咖啡杯、台灯、橡皮鸭。
沿45°增量水平环绕生成7个连续视角,全部基于原图推理,不基于模型生成图二次推演。项目仓库附带转盘动图,直观查看连续旋转效果。

能力短板(真实定性观察)

  1. 透明度稳定性:84个测试视图的alpha覆盖率稳定维持0.45~0.49,不会蒙版塌陷、背景渗漏。
  2. 物体身份漂移:小角度45°旋转物体细节保留很好;多次叠加旋转至180~315°,物体轮廓大体合理,但logo、带子、把手这类精细细节容易被模型重绘,无法完全原样保留。
  3. 光照风格迁移:模型在影棚干净光照扫描数据训练;输入自带烘焙阴影的素材时,模型有时直接沿用原图阴影,不会为新视角重新计算光照。

模型限制

  1. 训练数据仅限Google扫描家居物体,影棚布光、无地面;其他物体尺度、材质的效果未做评测。
  2. 只支持相对相机转动,不存在“正面”这类绝对姿态定义,相机永远以输入图片作为基准进行移动。
  3. 仰角仅覆盖训练区间:低角度约−20°、人眼平视、抬高视角约+40°,超出区间效果不可控。
  4. 90度视角生成难度最高,需要推理隐藏面,指标低于小角度旋转。
  5. 许可证约束:基于Qwen RESEARCH LICENSE,仅限非商业使用。仅新增LoRA权重,不修改、不分发基础模型文件。

训练参数细节

  • 素材:每个物体预渲染24个视图(8方位 ×3仰角),768×768 RGBA透明图,三点照明;物体居中占画面55–65%,过小物体直接过滤,筛选后501个可用物体,461组用于训练,40组留出测试。
  • 训练配置:adamw8bit,梯度检查点,缓存文本嵌入,lr=1e-4,batch size=1,2000步,每500步保存检查点,损失曲线稳定无发散。

适用场景

产品素材多角度生成、3D原型快速转盘渲染、游戏角色/道具多视图素材制作,快速生成一系列带透明背景的物体环绕图。

相关图书

Optical Illusion Generator (QR Code Monster) LoRA

Optical Illusion Generator (QR Code Monster) LoRA

Optical Illusion Generator (QR Code Monster) LoRA,也就是二维码怪物LoRA,专为 Qwen 2.1图像编辑打造,可以把整张图片转换成光学错觉风格,保留原图整体轮廓与外形,只重绘画面内部。
Y2K Digicam Snapshot LoRA

Y2K Digicam Snapshot LoRA

Y2K Digicam Snapshot LoRA,专门面向Qwen-Image 2.1训练,用来复刻2000年代初期Y2K数码相机实拍快照的复古视觉质感。
AWPortrait-QW

AWPortrait-QW

AWPortrait QW 是基于QwenImage架构下的模型,使用更符合中国人长相特征及审美的训练集进行训练,包含室内室外人像、时尚、棚拍写真等众多类型,泛化性强。相较于原始版Qwen,AWPortrait QW对于肤质表现更加细腻且真实,LoRA建议权重1。
Multiple-Angles camera-control LoRA

Multiple-Angles camera-control LoRA

Qwen-Image-2.1迎来首款相机控制LoRA:Multiple-Angles camera-control LoRA。只需要一张参考照片,通过提示词指定方位角、仰角,就能在保留主体不变的前提下,重新渲染出物体在对应相机视角下的图像。