Stable diffusion 初学者指南

想掌握Stable Diffusion AI技术吗？

这份初学者指南专为完全没接触过Stable Diffusion或任何AI图像生成器的新手设计。跟随本指南，你将了解Stable Diffusion的基本情况，并获得一些实用的入门技巧。

什么是Stable diffusion？

Stable Diffusion AI是一种基于潜在扩散模型的AI图像生成技术，它能够创造出既逼真又具有艺术风格的图像。这项技术的强大之处在于其生成的图像既可以与真实照片相媲美，也可以模仿专业艺术家的风格和技巧。无论是想要制作出栩栩如生的自然风景，还是想要创作出具有特定艺术风格的插图，Stable Diffusion AI都能够满足用户的需求。

更令人兴奋的是，Stable Diffusion AI是免费提供给用户的。这意味着无论你是学生、独立开发者还是艺术家，都可以在自己的PC上下载并运行这个模型，无需支付任何费用。这极大地降低了AI图像生成技术的门槛，使得更多的人能够接触并利用这项技术进行创作。

要开始使用Stable Diffusion AI，你只需要具备一台性能足够的PC，并按照官方提供的指南进行安装和配置。一旦设置完成，你就可以开始尝试输入各种文本提示，观察并调整生成的图像，以满足你的创作需求。

云端环境推荐【仙宫云】点我直达仙宫云这个平台非常强大，性价比也很高。它支持GeForce GTX 4090,3090,3080ti等多种主流高性能计算GPU。并且平台提供了Stable Diffusion WebUI,ComfyUI,Fooocus等多款AI应用。注册就送免费算力。

如何使用 Stable Diffusion？

使用Stable Diffusion AI生成图像的过程相对直观和简单。首先，你需要为模型提供一个描述性的文本，也就是所谓的“Prompt”。这个提示将作为模型生成图像的基础，指导AI理解你想要的图像类型和风格。

例如，如果你想要生成一个关于“姜饼屋”的图像，你可以给出如下的提示：

gingerbread house, diorama, in focus, white background, toast , crunch cereal

在这个提示中，你提供了关于图像的几个关键信息：主题是“姜饼屋”，图像应该是一个“立体模型”，焦点应该集中在“姜饼屋”上，背景应该是“白色”的，同时你还希望图像中有“吐司”和“脆麦片”的元素。这些描述将帮助Stable Diffusion AI更准确地理解你的意图，并生成符合你要求的图像。

当你输入了这个提示后，Stable Diffusion AI会通过其深度学习算法分析这些关键词，并结合其训练中学习到的图像知识库，生成一张图像。这张图像将会尝试反映出你所描述的所有元素，比如姜饼屋的结构、立体感、白色背景以及包含的吐司和麦片等。

生成的图像可能不会完全符合你的预期，但这正是AI图像生成的有趣之处。你可以通过对提示进行微调，比如改变描述的顺序、添加或删除某些关键词，来尝试获得不同的结果。这个过程就像是与AI进行一场创意对话，你可以不断尝试和调整，直到找到最满意的图像。

image-20240408194617268

Stable Diffusion 的优势是什么？

和其他的AI图像生成工具相比，如 DALLE 和 MidJourney。为什么选择 Stable Diffusion？

Stable Diffusion AI 的优点是

• 开源性：Stable Diffusion AI的一个显著特点是其开源性。这意味着它不仅免费供用户使用，而且其背后的代码和模型也是公开的。这种开放性鼓励了全球的技术爱好者和开发者社区参与到模型的改进和创新中来。用户和开发者可以自由地修改、优化和扩展模型的功能，创造出新的应用场景和工具。此外，开源性还促进了知识共享和技术进步，让更多的人能够访问和利用这一先进的AI技术。

• 低功耗设计：Stable Diffusion AI特别注重在低功耗计算机上的运行效率。这一点对于那些没有高性能硬件资源的用户来说尤为重要。由于Stable Diffusion AI能够在不需要昂贵硬件的情况下运行，这使得它更加亲民和易于获取。用户可以在普通的个人电脑甚至是一些较为便宜的设备上运行Stable Diffusion AI，从而降低了使用AI图像生成技术的门槛。这种设计不仅使得Stable Diffusion AI更加普及，也更加环保，因为它减少了对能源的需求和消耗。

• 强大的生成能力：尽管Stable Diffusion AI注重低功耗设计，但这并不影响其生成高质量图像的能力。Stable Diffusion AI能够根据用户的文本提示生成细节丰富、视觉效果出色的图像。无论是逼真的摄影风格还是独特的艺术创作，Stable Diffusion AI都能够胜任，满足不同用户的需求。

• 社区支持：由于Stable Diffusion AI的开源特性，它拥有一个活跃的社区支持。用户可以在社区中找到大量的教程、资源和经验分享，这些都有助于用户更好地理解和使用Stable Diffusion AI。社区的支持也为用户解决使用过程中遇到的问题提供了便利，使得学习和使用Stable Diffusion AI变得更加容易。

Stable Diffusion AI 是免费的吗？

Stable Diffusion AI的灵活性在于它既可以在本地计算机上免费运行，也可以通过在线服务使用，尽管后者可能涉及一定的成本。

Stable Diffusion 能做什么？

1.从文本生成图像

Stable Diffusion 最基本的用法是文本到图像 (txt2img)。以下是您可以使用 Stable Diffusion 生成的一些图像示例。 动漫风格

写实风格

景观

艺术风格

2.从另一个图像生成图像

图像到图像 (img2img) 使用 Stable Diffusion AI 将一个图像转换为另一个图像。

3.照片编辑

使用Stable Diffusion AI进行图像修复是一种非常实用的功能，它允许用户重新生成或修改AI生成的图像或真实图像的特定部分。这个过程与Adobe Photoshop中的“内容感知填充”功能相似，但Stable Diffusion AI提供了一个免费的选择，这对于预算有限的用户或者希望减少成本的个人和小型企业来说是一个巨大的优势。

4.制作视频

使用Stable Diffusion AI制作视频是一项新兴的技术，它为用户提供了两种主要的方法来创造独特的视觉内容。下面将详细介绍这两种方法：

1. 从文本提示制作视频： 这种方法涉及到使用文本提示来指导AI生成视频内容。用户可以输入一系列描述性的关键词或者一个详细的场景描述，AI将根据这些提示生成相应的视频片段。例如，如果你输入“宁静的山谷，清晨，薄雾，鸟儿歌唱”，Stable Diffusion AI将尝试生成一个展现这一场景的视频。这种方法的优势在于它允许用户发挥创意，创造出原本不存在的场景和故事。Deforum是一个流行的工具，它使用这种方法来制作视频，用户可以通过社交媒体分享和展示他们的作品。

2. 对视频进行风格化： 第二种方法是利用Stable Diffusion AI对现有的视频进行风格化处理。这意味着用户可以拿一个普通的视频，然后应用AI生成的艺术风格，从而创造出一种全新的视觉效果。例如，你可以将一个日常风景的视频转换成印象派或未来主义风格的短片。这种方法为用户提供了一种强大的工具，使他们能够将自己的艺术风格应用到视频内容上，或者模仿特定艺术家的风格。

如何使用 Stable Diffusion AI？

在线生成器

对于绝对的初学者，或者那些不想花太多时间在设置和配置上的用户，免费的在线生成器是一个非常好的起点。这些生成器通常具有用户友好的界面，使得即使是没有技术背景的人也能快速上手并开始生成图像。使用在线生成器，你只需访问相应的网站，输入你的文本提示，然后AI就会为你生成图像。这种方式无需下载任何软件，也不需要担心后续的更新和维护问题。

然而，免费在线生成器的功能可能会有一些限制，比如较少的定制选项和对生成图像的控制。如果你发现自己需要更多的功能和灵活性，那么你可能需要考虑升级到更高级的工具。

高级 GUI

• 当你对Stable Diffusion AI有了基本的了解，并且想要更深入地探索其功能时，高级图形用户界面（GUI）将是一个很好的选择。这些工具提供了一整套高级功能，让你能够更精细地控制图像生成的过程。以下是一些高级GUI可能提供的功能：

  • 高级提示技术：允许你使用更复杂的文本提示来指导AI，从而生成更精确和细致的图像。

  • Inpainting：这是一种技术，可以让你重新生成图像的一小部分，非常适合进行局部修改和修复。

  • 图像到图像的生成：基于你提供的输入图像生成新的图像，这可以让你在现有图像的基础上进行创作。

  • 通过指令编辑图像：直接给出指令来调整图像的特定元素，比如改变颜色、添加元素或者调整布局。

  AUTOMATIC1111是一个受欢迎的高级GUI选项，它提供了一个直观的界面和强大的功能。如果你想在本地运行这样的工具，可以根据适用于Windows和Mac的安装指南来进行设置。如果你有合适的PC，这将是一个不错的选择，因为它可能会提供更好的性能和更多的控制选项。另外，你也可以选择在Google Colab云服务器上设置和运行，这通常涉及到查看快速入门指南来了解如何配置和使用云服务。

如何构建一个好的Prompt？

制作一个有效的提示对于使用Stable Diffusion AI生成高质量的图像至关重要。一个好的提示能够引导AI更准确地理解你的创作意图，并生成符合你期望的图像。以下是一些关于如何制作好提示的建议和技巧：

1. 详细描述：在制作提示时，尽可能详细地描述你想要表达的主题。包括关于场景、对象、动作、情感和环境等方面的具体信息。详细的描述有助于AI更好地理解你的创作目标，并生成更加精确的图像。

2. 使用关键字：在你的提示中包含强烈的关键字，这些关键字能够定义图像的样式和内容。例如，如果你想要生成一幅具有“赛博朋克”风格的场景，你的提示中应该包含“霓虹灯”、“高科技”、“城市”、“未来主义”等关键字。

3. 利用提示生成器：对于初学者来说，使用提示生成器是一个学习和实践制作提示的好方法。这些工具可以提供分步指导和重要的关键字建议，帮助你理解如何构建有效的提示。就像学习一门新语言一样，掌握一组强大的关键字及其预期效果对于提高创作能力至关重要。

4. 重用和修改现有提示：浏览提示集合，找到你喜欢的图像和对应的提示。尝试重用这些提示，并在此基础上进行修改，以观察不同元素如何影响最终的图像。这种方法可以帮助你理解为什么某些提示能够生成高质量的图像，并从中学习如何改进自己的提示。

5. 使用图像收集网站：利用像PlaygroundAI这样的图像收集网站，选择你喜欢的图像，并尝试重新混合提示。虽然这可能需要一些时间和耐心，但它可以帮助你发现新的创意和灵感。

6. 将提示视为起点：记住，提示只是创作过程的起点。不要害怕修改和调整提示，以满足你的具体需求。通过不断试验和优化，你将能够更好地掌握如何制作有效的提示，并创造出更加令人满意的图像。

构建良好提示的经验法则

在使用Stable Diffusion AI或其他AI图像生成工具时，遵循一些基本规则可以帮助你获得更好的结果。这里再次强调两个关键原则，以确保你的提示能够有效地指导AI生成你想要的图像。

1. 详细具体

详细具体的描述是制作有效提示的关键。由于AI无法直接读取你的思维，它依赖于你提供的文本提示来理解你的创作意图。因此，你需要尽可能地提供详尽的信息，以便AI能够准确地构建图像。

• 场景描述：描述你想要的场景，包括时间、地点、环境和氛围。例如，“一个阳光明媚的海滩，金色沙滩，清澈的蓝天，椰子树随风摇曳。”

• 对象细节：详细描述图像中的主要对象，包括它们的外观、颜色、大小和位置。例如，“一只橘色的猫坐在窗台上，凝视着外面的花园。”

• 动作和表情：如果适用，描述对象的动作和表情。例如，“孩子们在公园里欢笑追逐，脸上洋溢着快乐的笑容。”

通过提供这样的细节，你可以帮助AI更好地理解你的创作愿景，并生成更加符合预期的图像。

2. 使用强有力的关键字

强有力的关键字可以帮助AI捕捉到你的创作意图中的关键元素，并将其体现在生成的图像中。关键字应该具有明确的视觉意义，能够指导AI生成特定的风格、色彩或情感。

• 风格关键字：使用描述艺术风格或视觉风格的关键字。例如，“印象派”，“未来主义”，“超现实主义”等。

• 色彩关键字：指定特定的颜色或色调，如“鲜艳的”，“柔和的”，“冷色调”等。

• 情感关键字：描述你希望图像传达的情感或氛围，如“神秘”，“宁静”，“活力四射”等。

结合这两个原则，你可以创建出既详细又具有指导性的提示，从而提高AI生成图像的质量和准确性。记住，实践是提高技能的关键，不断尝试不同的提示和关键字组合，你将能够更好地掌握这个过程，并创造出更加令人满意的视觉作品。

这些参数是什么，我应该更改它们吗？

在使用Stable Diffusion AI或类似的AI图像生成器时，理解并掌握一些关键的参数设置是非常重要的。这些参数可以帮助你更精确地控制生成过程，并优化最终的图像输出。以下是一些你可以在大多数在线生成器中更改的参数，以及它们的作用和建议设置：

1. 图像尺寸：

   • 这是输出图像的分辨率。标准尺寸通常是512×512像素，但你可以根据自己的需求调整尺寸。

   • 更改图像尺寸会影响图像的纵横比，进而影响图像的布局和构图。例如，如果你想要生成一个全身像，使用纵向尺寸（如768×1024像素）可能会更合适。

   • 增大图像尺寸可以提供更多的细节，但同时也需要更多的计算资源和时间。

2. 采样步骤：

   • 这是指AI在生成图像时执行的迭代次数。一般来说，至少使用20个步骤。

   • 如果生成的图像看起来模糊或细节不足，增加采样步骤的数量可能会帮助改善图像质量。但是，这也会相应增加生成图像所需的时间。

3. CFG 刻度：

   • CFG（Classifier Free Guidance）刻度用于控制图像生成过程中对提示的遵循程度。典型值为7。

   • 增加CFG刻度的值会使生成的图像更严格地遵循文本提示，可能产生更符合描述的结果。然而，过高的值也可能导致图像过于僵硬或缺乏创造性。

4. 种子值：

   • 种子值用于控制图像生成的随机性。如果种子值设置为-1，AI将生成一个随机的图像。

   • 如果你希望每次都能得到相同的图像，可以指定一个具体的种子值。这对于调试和比较不同设置的影响非常有用。

我应该生成多少张图片？

在使用Stable Diffusion AI或其他AI图像生成工具进行创作时，测试提示并生成多个图像是一个明智的策略。这种方法可以帮助你更全面地评估提示的效果，并找到最佳的创作方案。以下是一些关于测试提示时的建议和注意事项：

1. 生成多个图像：

   • 当你在测试一个新的提示或对现有提示进行修改时，生成多个图像可以让你看到不同结果，从而更好地理解提示的效果范围。

   • 生成的图像数量取决于你所做的更改的大小。对于较大的更改，生成2-4张图像可以提供一个快速的概览，帮助你判断新提示的大致方向。对于较小的调整，一次生成4张或更多的图像可以增加发现满意结果的机会。

2. 评估图像结果：

   • 不要仅根据一张图像就判断一个提示的有效性。有些提示可能在某些情况下效果不佳，但在其他情况下却能产生出色的图像。

   • 花时间仔细查看每一张生成的图像，并思考它们与你的创作目标的契合程度。考虑图像的质量、风格、细节和创意等方面。

3. 持续迭代：

   • 将提示测试视为一个持续的迭代过程。根据生成的图像结果，不断调整和优化你的提示。

   • 如果你发现某个提示在某些情况下效果很好，试着找出成功的原因，并考虑是否可以将这些元素应用到其他提示中。

4. 记录和比较：

   • 记录你使用过的提示和相应的图像结果。这可以帮助你跟踪哪些提示是有效的，哪些需要改进。

   • 比较不同提示生成的图像，注意哪些元素是一致的，哪些是变化的。这可以帮助你理解哪些部分是提示中的关键要素，哪些部分是AI的创造性发挥。

什么是自定义模型？

Stability AI发布的官方模型，也就是基础模型，为使用AI生成图像提供了一个强大的起点。这些基础模型经过广泛的训练，能够生成多样化的图像内容，适应各种不同的应用场景。随着技术的发展，Stability AI不断推出更新的基础模型版本，如Stable Diffusion 1.4、1.5、2.0和2.1等，每个新版本都在性能和功能上有所提升。

在基础模型的基础上，可以进一步训练定制模型。这些定制模型通过使用额外的数据集进行训练，能够生成具有特定风格或包含特定对象的图像。这种定制化的训练过程为用户提供了极大的灵活性，使得AI图像生成技术可以更好地满足个人或特定行业的需求。

我应该使用哪种模型？

• Stable Diffusion的三个主要版本：

  • V1 版本：包括1.4和1.5型号，这些是早期的稳定版本，对于初学者来说非常友好。它们提供了良好的图像质量和多样化的生成能力，是开始学习和实践的好选择。

  • V2 版本：包括2.0和2.1型号，这些版本在V1的基础上进行了改进和优化。虽然它们可能提供更高级的功能和更好的图像质量，但同时也可能更复杂，需要用户有一定的理解和经验。对于刚开始接触Stable Diffusion的用户，可能需要花费更多的时间来学习和掌握V2版本的使用。

  • Stable Diffusion XL (SDXL)：SDXL是一系列更大、更强大的模型，包括SDXL beta、SDXL 0.9和最新的SDXL 1.0。这些模型旨在生成更高分辨率的图像，提供更细致的细节和更广泛的创意空间。然而，由于它们的复杂性和资源需求，SDXL模型可能更适合有经验的用户或特定的项目需求。

如何训练新模型？

使用户不仅可以利用现有的模型生成图像，还可以通过特定的方法来创建和训练具有独特风格的自定义模型。以下是训练自定义模型的两种主要方法：Dreambooth和嵌入。

Dreambooth

Dreambooth是一种强大的自定义训练方法，它允许用户通过微调整个模型的权重来创建具有特定风格或主题的自定义模型。这种方法的核心在于使用大量的目标图像来训练模型，使其能够捕捉到特定的视觉特征和风格。

使用Dreambooth的优势在于：

• 个性化：你可以创建一个完全根据你的个人喜好和需求定制的模型。

• 微调能力：通过调整模型的权重，你可以精确控制生成图像的风格和特征。

• 适用性广：无论是想要模仿特定的艺术风格，还是创建具有特定主题的图像，Dreambooth都能够提供支持。

embedding

Embedding方法是一种相对简单的方式来调整现有模型，使其生成特定风格或主题的图像。这种方法不会改变模型的基本结构，而是通过添加关键字来引导模型生成新的主题或风格。

使用嵌入的优势在于：

• 操作简便：不需要进行复杂的模型训练，只需添加或修改关键字即可。

• 灵活性：可以快速尝试不同的关键字组合，以找到最佳的图像生成效果。

如何使用 Stable Diffusion 制作高清图片？

在使用Stable Diffusion v1模型时，遵循特定的图像尺寸指南可以帮助确保生成的图像质量。原始分辨率为512×512像素，这是大多数Stable Diffusion模型默认的输出大小。如果你打算生成不同纵横比的图像，应该避免将宽度和高度设置得离512像素太远，以防止图像质量下降或出现重复的主题。

生成初始图像后，如果你希望获得更高分辨率的图像，可以使用AI升级器进行放大。