AI Comic Factory AI漫画工厂一个免费开源的在线AI漫画生成工具/AI漫画生成器

AI Comic Factory AI漫画工厂一个免费开源的在线AI漫画生成工具AI漫画生成器

AI Comic Factory（ AI漫画工厂）是一个免费开源的在线AI漫画生成工具/AI漫画生成器，基于Hugging Face平台开发，使用LLM和SDXL技术。用户只需要输入文字描述提示词，AI就能生成精美的漫画作品。该工具支持用户设计漫画书的页面，使每个人都能轻松创作出独一无二的漫画风格照片。

运行项目

首先，我想强调一切都是开源的（请参阅此处、此处、此处、此处）。

然而，该项目并不是一个可以复制并立即运行的整体空间：它需要为前端、后端、LLM、SDXL 等运行各种组件。

如果您尝试复制该项目，请打开 .env 您将看到它需要一些变量。

提供商配置：

LLM_ENGINE ：可以是以下之一：“INFERENCE_API”、“INFERENCE_ENDPOINT”、“OPENAI”或“GROQ”
RENDERING_ENGINE ：目前可以是以下之一：“INFERENCE_API”、“INFERENCE_ENDPOINT”、“REPLICATE”、“VIDEOCHAIN”、“OPENAI”，除非您编写自定义解决方案

验证配置：

AUTH_HF_API_TOKEN ：如果您决定将 Hugging Face 用于 LLM 引擎（推理 API 模型或自定义推理端点）
AUTH_OPENAI_API_KEY ：使用 OpenAI 作为 LLM 引擎
AUTH_GROQ_API_KEY ：将 Groq 用于 LLM 引擎
AUTH_VIDEOCHAIN_API_TOKEN ：访问 VideoChain API 服务器的秘密令牌
AUTH_REPLICATE_API_TOKEN ：如果您想使用 Replicate.com

渲染配置：

RENDERING_HF_INFERENCE_ENDPOINT_URL ：如果您决定使用自定义推理端点，则必需
RENDERING_REPLICATE_API_MODEL_VERSION ：VideoChain API 服务器的 url
RENDERING_HF_INFERENCE_ENDPOINT_URL ：可选，默认为空
RENDERING_HF_INFERENCE_API_BASE_MODEL ：可选，默认为“stabilityai/stable-diffusion-xl-base-1.0”
RENDERING_HF_INFERENCE_API_REFINER_MODEL ：可选，默认为“stabilityai/stable-diffusion-xl-refiner-1.0”
RENDERING_REPLICATE_API_MODEL ：可选，默认为“stabilityai/sdxl”
RENDERING_REPLICATE_API_MODEL_VERSION ：可选，以防您想更改版本

语言模型配置（取决于您决定使用的 LLM 引擎）：

LLM_HF_INFERENCE_ENDPOINT_URL ：“”
LLM_HF_INFERENCE_API_MODEL ：“HuggingFaceH4/zephyr-7b-beta”
LLM_OPENAI_API_BASE_URL ：“https://api.openai.com/v1”
LLM_OPENAI_API_MODEL ：“gpt-4”
LLM_GROQ_API_MODEL ：“mixtral-8x7b-32768”

此外，还有一些社区共享变量您可以忽略。在您自己的网站或计算机上运行 AI Comic Factory 不需要这些变量（它们旨在创建与 Hugging Face 社区的连接，因此仅对官方 Hugging Face 应用程序有意义）：

NEXT_PUBLIC_ENABLE_COMMUNITY_SHARING ：你不需要这个
COMMUNITY_API_URL ：你不需要这个
COMMUNITY_API_TOKEN ：你不需要这个
COMMUNITY_API_ID ：你不需要这个

请阅读 .env 默认配置文件以获取更多信息。要在本地自定义变量，您应该创建一个 .env.local （不要提交此文件，因为它将包含您的机密）。

-> 如果您打算使用本地、云托管和/或专有模型运行它，您将需要编写代码👨‍💻。

LLM API（大型语言模型）

目前，AI Comic Factory 通过推理端点使用 zephyr-7b-beta。

您有三个选择：

选项 1：使用推理 API 模型

这是最近添加的一个新选项，您可以在其中使用 Hugging Face Hub 中的模型之一。默认情况下，我们建议使用 zephyr-7b-beta，因为它会提供比 7b 模型更好的结果。

要激活它，请创建一个 .env.local 配置文件：

LLM_ENGINE="INFERENCE_API"

HF_API_TOKEN="Your Hugging Face token"

# "HuggingFaceH4/zephyr-7b-beta" is used by default, but you can change this
# note: You should use a model able to generate JSON responses,
# so it is storngly suggested to use at least the 34b model
HF_INFERENCE_API_MODEL="HuggingFaceH4/zephyr-7b-beta"

选项 2：使用推理端点 URL

如果您想在 Hugging Face Inference Endpoint 服务上运行的私有 LLM 上运行 AI Comic Factory，请创建一个 .env.local 配置文件：

LLM_ENGINE="INFERENCE_ENDPOINT"

HF_API_TOKEN="Your Hugging Face token"

HF_INFERENCE_ENDPOINT_URL="path to your inference endpoint url"

要在本地运行这种LLM，您可以使用TGI（请阅读这篇文章以获取有关许可的更多信息）。

选项 3：使用 OpenAI API 密钥

这是最近添加的一个新选项，您可以通过 OpenAI API 密钥使用 OpenAI API。

要激活它，请创建一个 .env.local 配置文件：

LLM_ENGINE="OPENAI"

# default openai api base url is: https://api.openai.com/v1
LLM_OPENAI_API_BASE_URL="A custom OpenAI API Base URL if you have some special privileges"

LLM_OPENAI_API_MODEL="gpt-3.5-turbo"

AUTH_OPENAI_API_KEY="Yourown OpenAI API Key"

选项 4：（新的、实验性的）使用 Groq

LLM_ENGINE="GROQ"

LLM_GROQ_API_MODEL="mixtral-8x7b-32768"

AUTH_GROQ_API_KEY="Your own GROQ API Key"

选项 5：分叉并修改代码以使用不同的 LLM 系统

另一种选择可能是完全禁用 LLM 并将其替换为另一个 LLM 协议和/或提供者（例如 Claude、Replicate），或者人类生成的故事（通过返回模拟或静态数据）。

渲染API

该API用于生成面板图像。这是我为 Hugging Face 的各个项目创建的 API。

我还没有为它编写文档，但基本上它是其他现有 API 的“只是一个包装器™”：

@hysts 的 hysts/SD-XL 空间
以及其他用于制作视频、添加音频等的 API…但 AI 漫画工厂不需要它们

选项 1：自行部署 VideoChain

您必须克隆源代码

不幸的是，我还没有时间为 VideoChain 编写文档。（当我这样做时，我将更新此文档以指向 VideoChain 的自述文件）

选项 2：使用复制

要使用复制，请创建一个 .env.local 配置文件：

RENDERING_ENGINE="REPLICATE"

RENDERING_REPLICATE_API_MODEL="stabilityai/sdxl"

RENDERING_REPLICATE_API_MODEL_VERSION="da77bc59ee60423279fd632efb4795ab731d9e3ca9705ef3341091fb989b7eaf"

AUTH_REPLICATE_API_TOKEN="Your Replicate token"