在这篇文章中,我们探讨了如何使用 AWS 和 AWS 合作伙伴网络服务构建安全的、私有网络连接,以便在生成性人工智能(生成 AI)中进行数据传输。数据隐私和安全性是客户在探索生成 AI 项目时的首要考虑因素。AWS提供了一系列服务,以帮助您更好地控制数据,满足数据隐私和安全要求。
在文章中,我们将深入探讨 AWS PrivateLink 如何支持基于检索增强生成(RAG)的生成 AI 推理用例的安全网络架构。
为了确保生成 AI 应用的安全,必须避免在公共互联网中传输敏感数据,例如个人识别信息 (PII)。为了从基础模型 (FMs) 和大型语言模型 (LLMs) 中进行训练、微调、推理或查询,确保安全数据访问至关重要。此外,必须缩小生成 AI 应用面临恶意攻击的表面,维护与 AWS 与您的本地基础设施之间的端到端私有 IP 网络连接,以防止法律和合规风险,避免违反HIPAA、HITRUST 和 PCI DSS 等法规要求。
为了解决生成 AI 中的私有 IP 网络安全性,可以创建逻辑隔离的虚拟私人云(VPC),避免互联网连接,使用 进行生成 AI 数据流的所有传输,包括训练、微调和推理所使用的数据。通过创建 VPC 接口端点,依赖于 AWSPrivateLink,您可以安全地访问支持 PrivateLink 端点服务的 AWS 服务和第三方独立软件供应商 (ISV) 软件即服务 (SaaS) 服务。
您还可以通过创建 PrivateLink 端点服务来为生成 AI SaaS 应用程序启用私有连接。当您调用 AWS 或 ISV SaaS服务的私有端点时,服务主机名称将解析为在您的 VPC 中创建的接口端点,流量将通过 AWS 骨干网络的私有 IP 网络流动。AWS 在后台处理 PrivateLink 的 DNS 解析,无需您在 VPC 中设置单独的 。
生成 AI 的检索增强生成 (RAG) 需要将专有数据存储在向量数据存储中,同时将原始数据与之结合。RAG将推理查询转换为向量,这些向量用于在向量数据存储中搜索语义相似的嵌入,并检索原始数据以增强响应生成。
存在两种方式来部署 RAG:
选项 | 说明 |
---|---|
选项 1 | 预先创建嵌入并将其存储在向量数据存储中,如 、和 。 |
选项 2 | 使用与 集成的向量数据存储。 |
该架构提供了为生成 AI 中的 RAG 实现安全网络的指南。您将:
在描述每个组件的实现细节时,确保根据具体要求调整架构。
在这一部分中,我们展示了使用 VPC 接口端点访问与Amazon Bedrock 知识库集成的向量数据存储的生成 AI 推理架构模式。主要区别在于生成 AISaaS 应用程序供应商如何利用 Amazon Bedrock 的知识库进行 RAG。
AWS 将提供有关如何实现的指导。
利用这些参考架构指南,构建用于数据传输的私有网络连接,加速您的 AWS 生成 AI 转型。要了解如何为 Amazon Bedrock 部署 PrivateLink 端点,请参阅文章 。有关如何构建多租户 SaaS 的详细信息,请参阅文章 。
Leave a Reply