生成式 AI 中用于数据传输的私有网络

生成 AI 数据传输的私有网络

关键要点

在这篇文章中,我们探讨了如何使用 AWS 和 AWS 合作伙伴网络服务构建安全的、私有网络连接,以便在生成性人工智能(生成 AI)中进行数据传输。数据隐私和安全性是客户在探索生成 AI 项目时的首要考虑因素。AWS提供了一系列服务,以帮助您更好地控制数据,满足数据隐私和安全要求。

在文章中,我们将深入探讨 AWS PrivateLink 如何支持基于检索增强生成(RAG)的生成 AI 推理用例的安全网络架构。

在生成 AI 中实现安全网络的必要性

为了确保生成 AI 应用的安全,必须避免在公共互联网中传输敏感数据,例如个人识别信息 (PII)。为了从基础模型 (FMs) 和大型语言模型 (LLMs) 中进行训练、微调、推理或查询,确保安全数据访问至关重要。此外,必须缩小生成 AI 应用面临恶意攻击的表面,维护与 AWS 与您的本地基础设施之间的端到端私有 IP 网络连接,以防止法律和合规风险,避免违反HIPAA、HITRUST 和 PCI DSS 等法规要求。

为了解决生成 AI 中的私有 IP 网络安全性,可以创建逻辑隔离的虚拟私人云(VPC),避免互联网连接,使用 进行生成 AI 数据流的所有传输,包括训练、微调和推理所使用的数据。通过创建 VPC 接口端点,依赖于 AWSPrivateLink,您可以安全地访问支持 PrivateLink 端点服务的 AWS 服务和第三方独立软件供应商 (ISV) 软件即服务 (SaaS) 服务。

您还可以通过创建 PrivateLink 端点服务来为生成 AI SaaS 应用程序启用私有连接。当您调用 AWS 或 ISV SaaS服务的私有端点时,服务主机名称将解析为在您的 VPC 中创建的接口端点,流量将通过 AWS 骨干网络的私有 IP 网络流动。AWS 在后台处理 PrivateLink 的 DNS 解析,无需您在 VPC 中设置单独的 。

安全私有连接的参考架构指南

生成 AI 的检索增强生成 (RAG) 需要将专有数据存储在向量数据存储中,同时将原始数据与之结合。RAG将推理查询转换为向量,这些向量用于在向量数据存储中搜索语义相似的嵌入,并检索原始数据以增强响应生成。

存在两种方式来部署 RAG:

选项说明
选项 1预先创建嵌入并将其存储在向量数据存储中,如 、和 。
选项 2使用与 集成的向量数据存储。

选项 #1:通过向量数据存储实现安全 RAG

该架构提供了为生成 AI 中的 RAG 实现安全网络的指南。您将:

  • 创建 或第三方服务提供商的向量数据存储。
  • 在 VPC 中创建 ,以通过私有 IP 网络访问向量数据存储提供商。
  • 使用 VPC 接口端点访问 Amazon Bedrock、SageMaker 或第三方 FM 提供商。
  • 创建 PrivateLink 端点服务并与客户分享端点服务 DNS。

在描述每个组件的实现细节时,确保根据具体要求调整架构。

选项 #2:通过 Amazon Bedrock 知识库实现安全 RAG

在这一部分中,我们展示了使用 VPC 接口端点访问与Amazon Bedrock 知识库集成的向量数据存储的生成 AI 推理架构模式。主要区别在于生成 AISaaS 应用程序供应商如何利用 Amazon Bedrock 的知识库进行 RAG。

AWS 将提供有关如何实现的指导。

结论

利用这些参考架构指南,构建用于数据传输的私有网络连接,加速您的 AWS 生成 AI 转型。要了解如何为 Amazon Bedrock 部署 PrivateLink 端点,请参阅文章 。有关如何构建多租户 SaaS 的详细信息,请参阅文章 。

Leave a Reply

Required fields are marked *