南非区域Bedrock全球跨区域推理技术详解
使用Amazon Bedrock构建AI应用时,吞吐量挑战可能影响应用的可扩展性。af-south-1区域的全球跨区域推理功能改变了这一现状。您现在可以从开普敦区域调用模型,同时Amazon Bedrock会自动将请求路由到具有可用容量的区域。您的应用获得一致的响应时间,用户获得可靠的体验,而您的CloudWatch和CloudTrail日志仍集中存储在af-south-1区域。
南非区域Bedrock全球跨区域推理:高效访问Claude 4.5模型
使用Amazon Bedrock构建AI应用时,吞吐量挑战可能影响应用的可扩展性。af-south-1区域的全球跨区域推理功能改变了这一现状。您现在可以从开普敦区域调用模型,同时Amazon Bedrock会自动将请求路由到具有可用容量的区域。您的应用获得一致的响应时间,用户获得可靠的体验,而您的CloudWatch和CloudTrail日志仍集中存储在af-south-1区域。
在开普敦区域使用Amazon Bedrock上的Anthropic Claude Sonnet 4.5、Haiku 4.5和Opus 4.5进行全球跨区域推理,让您可以访问Claude 4.5模型家族。南非客户现在可以使用全球推理配置文件来访问这些模型,获得更高的吞吐量和弹性。全球跨区域推理将请求路由到全球范围内支持的商业区域,优化资源并实现更高吞吐量,在高峰使用时段尤其有价值。该功能支持Amazon Bedrock提示缓存、批量推理、安全防护机制、知识库等。
本文将介绍全球跨区域推理如何路由请求以及数据存储位置,然后展示如何配置所需的IAM权限并使用全球推理配置文件ARN调用Claude 4.5模型。我们还将介绍如何为工作负载请求配额提升。
理解跨区域推理
跨区域推理是一项强大功能,组织可以使用它在多个区域间无缝分布推理处理。此功能有助于在规模化构建时获得更高吞吐量,使生成式AI应用即使在高负载下也能保持响应和可靠。
Amazon Bedrock中的推理配置文件定义了基础模型以及可以路由模型调用请求的一个或多个区域。推理配置文件基于两个关键概念:
- 源区域 – 发起API请求的区域
- 目标区域 – Amazon Bedrock可路由推理请求的区域
跨区域推理通过安全的AWS网络运行,对传输中和静态数据均采用端到端加密。当客户从源区域提交推理请求时,跨区域推理会通过Amazon Bedrock托管网络智能地将请求路由到为推理配置文件配置的目标区域之一。
关键区别在于,虽然推理处理可以在其他区域进行,但静态数据(包括日志、知识库和存储的配置)设计为保留在源区域内。请求通过Bedrock托管的AWS全球网络传输。跨区域推理期间传输的数据经过加密,并保持在安全的AWS网络内。无论哪个区域处理请求,敏感信息在整个推理过程中都受到保护,加密响应将返回到源区域中的应用。
Amazon Bedrock提供两种类型的跨区域推理配置文件:
- 地理跨区域推理:Amazon Bedrock自动在定义的地理区域(美国、欧盟、澳大利亚和日本)内选择最佳商业区域来处理推理请求。(推荐用于有数据驻留需求的用例。)
- 全球跨区域推理:全球跨区域推理通过将推理请求路由到全球支持的商业区域,进一步增强了跨区域推理功能,优化可用资源并实现更高模型吞吐量。(推荐用于没有数据驻留需求的用例。)
监控和日志记录
使用af-south-1的全球跨区域推理时,请求可以在AWS全球基础设施的任何位置处理。但是,CloudWatch和CloudTrail日志记录在af-south-1区域,通过将记录保存在一个位置简化了监控。
数据安全与合规性
安全与合规性是AWS与每个客户共同承担的责任。全球跨区域推理旨在维护数据安全。跨区域推理期间传输的数据由Amazon Bedrock加密,并设计为保持在安全的AWS网络内。无论哪个区域处理请求,敏感信息在整个推理过程中都受到保护。客户负责适当配置其应用和IAM策略,并评估全球跨区域推理是否满足其特定的安全和合规要求。由于全球跨区域推理将请求路由到全球支持的商业区域,您应评估此方法是否符合您的监管义务,包括《个人信息保护法》和其他特定行业要求。建议咨询法律和合规团队,为您的特定用例确定适当的方法。
实现全球跨区域推理
要使用Claude 4.5模型进行全球跨区域推理,开发人员必须完成以下关键步骤:
- 使用全球推理配置文件ID:在调用Amazon Bedrock API时,指定Claude 4.5模型的全局推理配置文件ID(例如:
global.anthropic.claude-opus-4-5-20251101-v1:0)。这适用于InvokeModel和Converse API。 - 配置IAM权限:授予访问推理配置文件和潜在目标区域中基础模型的IAM权限。下一节将提供更多详细信息。
使用Claude 4.5模型实现全球跨区域推理非常简单,只需对现有应用代码进行少量更改。以下是更新Python代码的示例:
import boto3
import json
# 从部署区域连接到Bedrock
bedrock = boto3.client('bedrock-runtime', region_name='af-south-1')
# 使用Opus 4.5的全球跨区域推理配置文件
model_id = "global.anthropic.claude-opus-4-5-20251101-v1:0"
# 发起请求 - 全球跨区域推理自动路由到全球最优AWS区域
response = bedrock.converse(
messages=[
{
"role": "user",
"content": [{"text": "用两句话解释云计算。"]}
}
],
modelId=model_id,
)
print("响应:", response['output']['message']['content'][0]['text'])
print("Token使用量:", response['usage'])
print("总Token数:", response['usage']['totalTokens'])
如果使用InvokeModel API,可以通过更改模型ID快速切换到不同模型。
全球跨区域推理的IAM策略要求
全球跨区域推理需要三种特定权限,因为路由机制跨越多个范围:您的区域推理配置文件、源区域中的基础模型定义以及全局级别的基础模型定义。缺少这三者,服务无法解析模型、验证访问权限并在区域间路由请求。访问Anthropic模型需要在调用模型前提交用例申请。可以在单个账户级别完成,也可以通过组织的管理账户集中完成。AWS Marketplace权限是启用模型所必需的,可以在支持的情况下限定到特定产品ID。
以下IAM策略示例提供了细粒度控制:
{
"Version": "2012-10-17",
"Statement": [{
"Sid": "GrantGlobalCrisInferenceProfileRegionAccess",
"Effect": "Allow",
"Action": "bedrock:InvokeModel",
"Resource": [
"arn:aws:bedrock:af-south-1:<ACCOUNT>:inference-profile/global.<MODEL NAME>"
],
"Condition": {
"StringEquals": {
"aws:RequestedRegion": "af-south-1"
}
}
},
{
"Sid": "GrantGlobalCrisInferenceProfileInRegionModelAccess",
"Effect": "Allow",
"Action": "bedrock:InvokeModel",
"Resource": [
"arn:aws:bedrock:af-south-1::foundation-model/<MODEL NAME>"
],
"Condition": {
"StringEquals": {
"aws:RequestedRegion": "af-south-1",
"bedrock:InferenceProfileArn": "arn:aws:bedrock:af-south-1:<ACCOUNT>:inference-profile/global.<MODEL NAME>"
}
}
},
{
"Sid": "GrantGlobalCrisInferenceProfileGlobalModelAccess",
"Effect": "Allow",
"Action": "bedrock:InvokeModel",
"Resource": [
"arn:aws:bedrock:::foundation-model/<MODEL NAME> "
],
"Condition": {
"StringEquals": {
"aws:RequestedRegion": "unspecified",
"bedrock:InferenceProfileArn": "arn:aws:bedrock:af-south-1:<ACCOUNT>:inference-profile/global.<MODEL NAME>"
}
}
}
]
}
该策略包含三部分。第一条语句授予对af-south-1区域推理配置文件的访问权限,使用户能够从南非调用指定的全球跨区域推理配置文件。第二条语句提供对区域基础模型资源的访问,服务需要此权限来理解在区域上下文中请求的模型。第三条语句授予对全球基础模型资源的访问权限,这使得跨区域路由能够正常工作。
实施这些策略时,请验证是否包含三个ARN:
- 区域推理配置文件ARN:格式为
arn:aws:bedrock:af-south-1:<ACCOUNT>:inference-profile/global.<MODEL NAME>。授予对源区域中全局推理配置文件的访问权限。 - 区域基础模型:
arn:aws:bedrock:af-south-1::foundation-model/<MODEL NAME>。授予对af-south-1区域模型定义的访问权限。 - 全球基础模型:需要
arn:aws:bedrock:::foundation-model/<MODEL NAME>。授予对跨区域模型的访问权限,此ARN特意省略了区域和账户段以允许跨区域路由。
全球基础模型ARN未指定区域或账户,这是有意的且为跨区域功能所必需。
关于服务控制策略的重要说明:如果您的组织使用区域特定的服务控制策略,请验证"aws:RequestedRegion": "unspecified"未被包含在拒绝区域列表中,因为全球跨区域推理请求使用此区域值。使用限制性服务控制策略的组织如果拒绝除特定批准区域外的多个区域,需要明确允许此值以启用全球跨区域推理功能。
如果您的组织因数据驻留或合规要求确定全球跨区域推理不适合某些工作负载,可以使用以下两种方法禁用它:
- 移除IAM权限:移除三个必需IAM策略语句中的一个或多个。由于全球跨区域推理需要这三个语句才能运行,移除其中一个将导致对全球推理配置文件的请求返回访问被拒绝错误。
- 实施显式拒绝策略:创建使用
"aws:RequestedRegion": "unspecified"条件专门针对全球跨区域推理配置文件的拒绝策略。这种方法清晰记录您的安全意图,即使后续意外添加了允许策略,显式拒绝也会优先。
请求全球跨区域推理的限额提升
从af-south-1使用全球跨区域推理配置文件时,可以通过Service Quotas控制台请求配额提升。由于这是全局限制,必须在源区域(af-south-1)中提出请求。
请求提升前,使用模型的消耗率计算所需配额。对于Sonnet 4.5和Haiku 4.5,输出Token的消耗率为五倍,每个输出Token从配额中消耗5个Token,而输入Token保持1:1的比例。每次请求的总Token消耗量为:
输入Token数 + 缓存写入输入Token + (输出Token数 x 消耗率)
请求限额提升:
- 登录af-south-1区域的Service Quotas控制台。
- 在导航窗格中,选择AWS服务。
- 找到并选择Amazon Bedrock。
- 搜索特定的全球跨区域推理配额。
- 选择配额并选择在账户级别请求提升。
- 输入所需的配额值并提交请求。
结论
全球跨区域推理还将Claude 4.5模型家族带到开普敦区域,让您能够访问与其他区域相同的功能。您可以从本地区域使用Sonnet 4.5、Haiku 4.5和Opus 4.5进行构建,而路由基础设施透明地处理分发。要开始使用,请更新应用以使用全球推理配置文件ID,配置适当的IAM权限,并在应用使用全球AWS基础设施时监控性能。FINISHED
更多精彩内容 请关注我的个人公众号 公众号(办公AI智能小助手)或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号(网络安全技术点滴分享)
更多推荐


所有评论(0)