03月
28日
Akamai推出分布式AI推理云服务,大幅降低延迟并提升效率
美东时间3月27日,全球领先的CDN服务商Akamai Technologies Inc.宣布推出Akamai Cloud Inference,这是一款基于其分布式云基础设施的AI推理平台,旨在将大型语言模型(LLM)运行于靠近用户的网络边缘,解决传统集中式云平台的延迟瓶颈。该平台依托Akamai覆盖130多国、4100多个节点的全球分布式网络,声称可提升AI推理吞吐量3倍、减少延迟达2.5倍,并显著降低成本。
Akamai利用其25年CDN经验,结合收购的Linode云计算能力及与英伟达(NVIDIA)、Vast Data的技术合作,提供从CPU到GPU、ASIC的弹性算力,支持容器化负载及边缘无服务器架构,适用于自动驾驶、智慧农业、实时零售等低延迟场景。公司援引Gartner预测称,2025年75%的数据将产生于边缘,其分布式网络将成为AI推理时代的核心竞争优势。