自动图形设计构图方法LaDeCo:从多模态图形元素自动组成一个协调、平衡且视觉上令人愉悦的图形设计

随着技术的进步,自动化的图形设计工具正在逐渐改变我们创造视觉内容的方式。然而,现有的生成模型往往局限于特定的子任务,并未能全面地处理设计组合这一复杂过程。为了克服这些限制,西安交通大学与微软研究院联手推出了一种名为LaDeCo的新方法,旨在通过引入分层设计原则来改进大型多模态模型(LMMs)在图形设计中的应用。

什么是LaDeCo?

LaDeCo是一种创新的设计组合生成算法,它特别适用于从多模态图形元素中自动生成设计。该方法不仅考虑了图形设计的层次化信息,还巧妙地将复杂的生成任务分解为一系列更易于管理的小步骤,从而显著提升了设计过程的流畅性和清晰度。

例如,我们有一组包含背景图片、logo、文本和装饰元素的多模态设计元素。LaDeCo能够将这些元素按照语义层分层次地组织起来,首先放置背景层,然后是底层(underlay),接着是图像或logo,之后是文本,最后是装饰元素。通过这种方式,LaDeCo能够自动生成一个完整的、视觉上连贯的图形设计,如海报或广告。

主要功能

LaDeCo的主要功能包括:

  1. 层规划(Layer Planning):将输入元素根据内容分到不同的语义层,如背景、底层、图像/Logo、文本和装饰。
  2. 分层设计组合(Layered Design Composition):根据层规划的结果,逐层预测元素属性,并生成每一层的渲染图像,为后续层的预测提供上下文信息。

主要特点

  • 分层设计原则:LaDeCo引入了分层设计原则,模仿人类设计师的工作流程,将设计任务分解为更小、更易管理的步骤。
  • 上下文感知:通过将之前生成的层作为上下文信息反馈到模型中,LaDeCo能够在生成后续层时更好地考虑先前的设计决策。
  • 无需特定任务训练:LaDeCo能够处理设计组合的不同子任务,如分辨率调整、元素填充、设计变化等,而无需针对特定任务的训练。

    LaDeCo的工作原理

    1. 层级规划:LaDeCo首先对输入的图形元素进行分析,根据其内容和功能将其划分为不同的语义层。这一步骤确保了每个元素都能在其最合适的层次上得到恰当的处理。
    2. 属性预测:基于初步的层级规划,LaDeCo接下来会预测每一层中控制设计组合的关键属性。这一过程是逐层递进的,每一步都以前一层的渲染结果为依据,形成一个连贯的设计流程。
    3. 上下文整合:在生成过程中,LaDeCo会将之前生成的图像作为上下文信息纳入考虑,确保每一层的设计都能够自然地融入整体,实现无缝衔接。

    实验验证与应用展示

    实验结果显示,LaDeCo在设计组合方面表现出了卓越的能力,能够有效地应对各种图形设计挑战。此外,研究团队还展示了LaDeCo在实际设计工作中的广泛应用,包括但不限于:

    • 分辨率调整:自动适应不同屏幕尺寸和分辨率的需求。
    • 元素填充:智能填补设计中的空白区域,提升视觉效果。
    • 设计变体:快速生成多种设计方案,提供更多的创意选择。
    0

    评论0

    没有账号?注册  忘记密码?