最近,我们的团队广泛致力于部署独立的 GPT-2 服务器,以允许 向内容创建者提供长篇工具(现已被 OpenAI 取代)。本文将介绍设置自己的 GPT-2 服务器的基本步骤,以及我们在此过程中学到的一些知识。
首先,我们需要确定一个能够提供坚实基础的模型,以及在必要时微调系统的能力。我们决定在 上使用 和虚拟机(包括 GPU)。
本文的其余部分将更详细地介绍此过程,但值得一提的是,如果我们再次尝试此过程,我们会考虑使用 Hugging Face 的托管推理 API,而不是虚拟机。对于我们当时的需求,VM 是合乎逻辑的选择,但对于未来的项目来说,这可能并非如此。
首先,您需要一个,您的所有虚拟机都将在此进行管理:
创建帐户后,您需要导航至 Compute Engine > VM 实例 > 然后单击“创建实例”以开始设置您的机器。
注意:系统可能会提示您创建一个项目,该项目充当所有相关 Google Cloud 资源的容器。另一个好处是您可以将您的团队添加到此项目中,这对较大的项目很有帮助。
我们为我们的虚拟机试验了相当多的配置,并确定了以下配置以在成本和性能之间取得良好的平衡:
区域:us-central-1-a
机器系列:GPU
GPU 类型:NVIDIA V100
GPU 数量:1
机器类型:自定义
核心:12
内存:78GB(扩展)
CPU 平台:自动(Intel Haswell)
存储:100GB
启动映像:Linux 上的深度学习
启动映像版本:深度学习映像:PyTorch 1.8 m73 CUDA 110
防火墙:允许流量
值得一提的是,配置假设您计划使用同一台机器进行微调,并计划将虚拟机用作 Web API。您的需求可能会因这些因素而有所不同,并且您可能不需要列出的所有资源,但是,就我们的目的而言,这使我们的虚拟机在需要时具有更多的多功能性。
您可能还想 使用可抢占实例,
因为这将大幅降低成本(高达 50%)。话虽如此,这将允许您的实例提前终止,如果您依赖机器,可能会导致不稳定。
设置虚拟机后,您应该能够通过 SSH 进入机器并开始设置服务器。我们还建议您在此阶段确保您拥有 root 访问权限,因为这将使以后的自动化更容易。
依赖项
该模型将由 Python 驱动,使用 Hugging Face 转换器,但是,我们需要设置一些其他软件包以允许将 VM 用作服务器,这些软件包如下所示:
Gunicorn(服务器)
Flask(路由)
Deepspeed(训练)
数据集(训练 – Hugging Face)
Certbot(签名)
由于我们设置 VM 的方式,我们已经安装了 Python 和 Pip,这意味着可以使用 pip 命令安装所有这些软件包。
下面是一个例子:
您可以在此处了解更多信息:开始使用 pip
还应注意,如果愿意,您可以使用替代服务器和路由层,我们决定使用 Flask 和 Gunicorn 纯粹是出于偏好,但如果有必要,可以将它们换掉。
继续安装列出的所有依赖项,然后再继续。
开发代码
您可能已经猜到了,我们将用 Python 编写主要的 flask 容器,这意味着我们假设您对语法有基本的了解,但是,我们也将为您提供一个最实用的示例。
继续在您的 VM 上创建一个名为“api.py”的新文件,并将以下内容添加到其中:
保存文件后,您应该能够使用以下命令运行服务器的测试实例:
我们通过 Gunicorn 运行 flask 容器,它将在执行过程中初始化 flask。在最终设置中,我们将研究设置自动启动作为 VM 设置的一部分,但这纯粹是为了测试一切是否正常运行。
针对阿富汗电话号码的后续策略至 加纳细胞数据 关重要利用asiadata提供的数据分析与管理工具企业可以有效跟踪客户反馈和需求优化沟通渠道。通过持续改进与客户的互动推动品牌忠诚度和业务增长最终实现更好的市场定位。
如果您已正确完成所有操作,则应该会看到以下消息:
这可能需要一些时间,因为转换器初始化了模型并将数据加载到内存中,因此请给它一些时间来完成。
完成服务器设置
在我们部署代码并开始使用我们的 API 之前,我们需要为虚拟机设置一个静态 IP 地址。
这在这里有很好的记录:
随着技术的快速发展,以前需要几个小时才能完成的工作现在只需花费一小部分时间。撰写博客内容变得容易得多,尤其是对于那些被动态任务淹没的人来说,例如创始人、企业家和内容营销人员。让我们来探索人工智能作家如何帮助您进行内容营销。
什么是人工智能作家?
人工智能作家是一种利用人工智能根据您提供的输入预测文本的软件。人工智能作家能够创建营销文案、登陆页面、博客主题创意、口号、品牌名称、歌词甚至完整的博客文章。
当人们第一次听说这个时,他们当然会持怀疑态度 从概念到执行:人工智能内容自动化如何改变 cmo 的内容创作流程 直到他们亲自尝试使用人工智能作家。在大多数情况下,人工智能作家让使用它们的人的工作生活变得轻松得多。可以说,它做了很多创造性的繁重工作,让用户可以节省时间,专注于职业生涯中的其他重要事项。
几个月前,AI 作家只能提供简短的文本片段。如今,他们提供完整的博客文章(ContentBot 甚至可以自动为您完成此操作),并考虑到 SEO。在过去的几个月里,AI 内容领域出现了大量创新。随着这些工具争夺市场,他们正在创造新的创新方式来使用 AI,帮助创始人和内容营销人员更快、更轻松地创建有意义的内容。
ContentBot 在创新方面处于领先地位。他们是第一个创建 AI 内容 WordPress 插件的人,自动将博客主题创意通过电子邮件发送给您,现在是第一个每隔几天向您发送自动完整博客文章的 AI 作家。
AI 作家是如何工作的?
当今大多数 AI 作家都使用 OpenAI 的 GPT-3 模型。生成式预训练 Transformer 3 是一种自回归语言模型。简而言之,这意味着人工智能使用其数据集将句子串联起来,通过预测单词的下一个最佳单词是否放在句子中,同时保留上下文。
人工智能模型接受了大约 570GB 的信息训练 DD线索 并使用了 2019 年 10% 的互联网作为其数据来源。这是一个惊人的文本量,它产生了高质量和原创的内容,这些内容在大多数情况下都是有意义的。是的,在某些情况下,人工智能会返回无意义的信息,但我们的研究发现,人工智能 80% 的时间都能产生很好的输出。
一个基于突出显示的文本生成内容的人工智能作家的例子
不过有一个警告——人工智能可能不会理解你在请求什么,特别是当你被要求提供它一无所知的内容时。例如,如果您正在寻找 AI 在社交音频应用 Clubhouse 上写作,您可能会发现它将开始围绕高尔夫俱乐部生成内容,因为 Clubhouse 仅在 2020 年发布,而 AI 数据集来自 2019 年。
AI 写作是免费的吗?
是也不是。这实际上取决于您需要完成哪种类型的写作。大多数 AI 作家,例如 ContentBot,都允许您在有限的容量内使用他们的工具。生成 AI 内容需要大量的计算能力,而这本身就非常昂贵。这些成本由这些 AI 写作工具的提供商承担,因此可以理解的是,在大多数情况下,该工具不能完全免费。
不过,您应该在 AI 作家中发现的是,他们将允许您免费创建相当多的“短篇”内容,同时还允许您尝试他们的“长篇编辑器”,这使您能够创建更多长篇内容,例如博客内容。同样,这些工具的使用将根据每个 AI 作家的内部成本而受到限制。
我如何在我的博客中使用 AI 作家?
如上所述,AI 作家在创作短篇和长篇内容方面都非常出色。AI 在博客内容方面尤其强大。通过聘请 AI 作家,这些工具可以帮助您比自己编写博客内容更快地生成博客内容(参见此演示)。
AI 作家可以帮助您处理以下类型的内容:
“为我写作”风格的 AI 作家,一次最多可生成 150 个单词
博客主题创意
博客简介段落
引人入胜的问题和答案
项目符号扩展(将项目符号转换为段落)
列表文章
痛苦-激动-解决方案副本
博客大纲(文章的结构化标题)
语调改变
句子改写
以上所有内容以及更多内容均可在上找到。
AI 内容是独一无二的吗?
简而言之,是的。AI 内容的独特之处在于 AI 的创建方式。如上所述,AI 模型实际上会根据前面的单词或提供的上下文来预测句子中的下一个单词。这意味着独特内容的可能性极高,而抄袭的可能性极低(AI不会从