中文名称: 用 Midjourney 生成格林童话插图

英文名称: Grimm in Wonderland：Prompt Engineering with Midjourney to Illustrate Fairytales

论文地址: http://arxiv.org/abs/2302.08961

时间：2023-02-17

读后感

针对生成图的提示工程，利用工具 Midjourney v4，进行了一系列实验。得出一个生成提示的 4 阶段过程：初始提示，成分调整，风格细化，加入变化。另外还讨论了生成图像效果不佳的三个原因：计数困难，难以生成假定的场景，无法描述过于奇异的情况。作者认为这不仅用于生成图片，且对未来的生成模型具有普适性。

介绍

之前的提示工程研究包含：主语，动词，环境，风格；之后又有人提出：主题词，风格修饰语，图像提示，质量助推器，重复，和魔术术语的方法。

Midjourney 是实践中最受欢迎的工具之一，尽管它是商业的，对建筑也知之甚少。目前的 Midjourney V4 更为复杂，它支持更多知识，能生成更多细节，可接受更复杂的提示，能处理多实体的场景。

方法

当前的图像生成器不仅能通过文本作为输入并产生图像，还支持输入修饰语对图像进行修正。目前已知 VQGAN + CLIP 和 Stable Diffusion 具有截然不同的架构，对 Dall - E 和 Midjourney 的架构知之甚少。因此，文中未讨论 Midjourney 专用的魔术术语和质量设置参数，而主要关注一些通用的方法，如主题风格等。

主题

第一步，从原始文本中推导出主题提示，并对其进行简化和调整（如用特定的名词替换代词），以改善结果。

风格

这里的风格指代了前人文中的媒体和风格，由于生成童话插画，希望生成器不要引入过多细节（Midjourney 默认的艺术画风格细节比较丰富），所以尝试了书籍插图或极简主义插图等风格修饰语来限制风格。

图像提示

实验并没有上传参考图片，利用了 Midjourney 提供的图像微调功能。在不使用基于图像的微调的情况下，图像之间的一致性是一个挑战，比如对同一个童话生成不同场景时，同一人物可能生成的完全不同，本文不讨论此问题。

结果

生成图所的四个阶段

  • 初始提示：概括原文，尽可能地使用一个简单的句子
  • 分成调整：逐步调节提示，优先考虑小的变化，以生成好的反馈迭代。特别注意对歧义词可能曲解。分以下三个层次：
    • 调整词语，可选择性地简化或用同义词替换，可能更好地代表语境的词语。可能包括将短语动词减少到代表动作的动词，牺牲叙事的丰富性和忠实性来提升表达准确性。
    • 为实体 (主体与客体) 添加或删除形容词或为动词添加副词。
    • 添加对象以更好地表示上下文和/或强制删除不必要的对象。
  • 细化风格：每当发现生成器有多余内容时，可以通过在基本的、简单的、最小的、平坦的颜色上强制使用带有修饰符的风格来抑制它（生成童话无需太多细节）。
  • 调整已有的图像：一旦图片整体内容稳定下来，只要生成器支持微调（MidJounery 是扩展模型，支持微调），就可以在图像的基础上调整。例如：调整实体的数量。

图 -1 展示了原始文本，调整后的提示文本，以及最终生成的比较满意的图片。

生成器当前的问题

  • 计数困难：比如描述画三只乌鸦结果生成五只，手指数量不对等，这可以通过多试几次或微调来修正。
  • 难以生成假定的场景：模型不具备先验知识，如图 -2 中第 1 条。
  • 无法描述过于奇异的情况：对于非传统情境，自非现实文本 (也称为不可能场景)，生成效果不好，如图 -2 中第 2,3 条。

Midjourney 用法

网址

https://www.midjourney.com/

注册

科学上网

主界面点 Sign in，选无帐号，创建一个，然后通过邮件激活

（我的老用户名密码，用的新浪邮箱)

必须手机收短信才能完成注册，可以支持国内手机

打开 Midjounery

主界面点 Join the Beta，此时就进入了绘画的聊天室，可以看到别人的画作

Zotero 地址

Grimm in Wonderland: Prompt Engineering with Midjourney to Illustrate Fairytales

zotero id: DME4KXU3