中文名称: 用 Midjourney 生成格林童话插图

英文名称: Grimm in Wonderland:Prompt Engineering with Midjourney to Illustrate Fairytales

论文地址: http://arxiv.org/abs/2302.08961

时间:2023-02-17

读后感

针对生成图的提示工程,利用工具 Midjourney v4,进行了一系列实验。得出一个生成提示的 4 阶段过程:初始提示,成分调整,风格细化,加入变化。另外还讨论了生成图像效果不佳的三个原因:计数困难,难以生成假定的场景,无法描述过于奇异的情况。作者认为这不仅用于生成图片,且对未来的生成模型具有普适性。

介绍

之前的提示工程研究包含:主语,动词,环境,风格;之后又有人提出:主题词,风格修饰语,图像提示,质量助推器,重复,和魔术术语的方法。

Midjourney 是实践中最受欢迎的工具之一,尽管它是商业的,对建筑也知之甚少。目前的 Midjourney V4 更为复杂,它支持更多知识,能生成更多细节,可接受更复杂的提示,能处理多实体的场景。

方法

当前的图像生成器不仅能通过文本作为输入并产生图像,还支持输入修饰语对图像进行修正。目前已知 VQGAN + CLIP 和 Stable Diffusion 具有截然不同的架构,对 Dall - E 和 Midjourney 的架构知之甚少。因此,文中未讨论 Midjourney 专用的魔术术语和质量设置参数,而主要关注一些通用的方法,如主题风格等。

主题

第一步,从原始文本中推导出主题提示,并对其进行简化和调整(如用特定的名词替换代词),以改善结果。

风格

这里的风格指代了前人文中的媒体和风格,由于生成童话插画,希望生成器不要引入过多细节(Midjourney 默认的艺术画风格细节比较丰富),所以尝试了书籍插图或极简主义插图等风格修饰语来限制风格。

图像提示

实验并没有上传参考图片,利用了 Midjourney 提供的图像微调功能。在不使用基于图像的微调的情况下,图像之间的一致性是一个挑战,比如对同一个童话生成不同场景时,同一人物可能生成的完全不同,本文不讨论此问题。

结果

生成图所的四个阶段

  • 初始提示:概括原文,尽可能地使用一个简单的句子
  • 分成调整:逐步调节提示,优先考虑小的变化,以生成好的反馈迭代。特别注意对歧义词可能曲解。分以下三个层次:
    • 调整词语,可选择性地简化或用同义词替换,可能更好地代表语境的词语。可能包括将短语动词减少到代表动作的动词,牺牲叙事的丰富性和忠实性来提升表达准确性。
    • 为实体 (主体与客体) 添加或删除形容词或为动词添加副词。
    • 添加对象以更好地表示上下文和/或强制删除不必要的对象。
  • 细化风格:每当发现生成器有多余内容时,可以通过在基本的、简单的、最小的、平坦的颜色上强制使用带有修饰符的风格来抑制它(生成童话无需太多细节)。
  • 调整已有的图像:一旦图片整体内容稳定下来,只要生成器支持微调(MidJounery 是扩展模型,支持微调),就可以在图像的基础上调整。例如:调整实体的数量。

图 -1 展示了原始文本,调整后的提示文本,以及最终生成的比较满意的图片。

生成器当前的问题

  • 计数困难:比如描述画三只乌鸦结果生成五只,手指数量不对等,这可以通过多试几次或微调来修正。
  • 难以生成假定的场景:模型不具备先验知识,如图 -2 中第 1 条。
  • 无法描述过于奇异的情况:对于非传统情境,自非现实文本 (也称为不可能场景),生成效果不好,如图 -2 中第 2,3 条。

Midjourney 用法

网址

https://www.midjourney.com/

注册

科学上网

主界面点 Sign in,选无帐号,创建一个,然后通过邮件激活

(我的老用户名密码,用的新浪邮箱)

必须手机收短信才能完成注册,可以支持国内手机

打开 Midjounery

主界面点 Join the Beta,此时就进入了绘画的聊天室,可以看到别人的画作

Zotero 地址

Grimm in Wonderland: Prompt Engineering with Midjourney to Illustrate Fairytales

zotero id: DME4KXU3