Akamai AI新架构：分布式优势助攻60%推理时延降低，挑战性能极限

标题：Akamai AI新架构：分布式优势助攻60%推理时延降低，挑战性能极限

随着科技的飞速发展，人工智能（AI）的应用已经渗透到我们生活的方方面面。为了满足日益增长的计算需求，Akamai这样的全球领先云计算服务提供商，正不断探索和创新。近期，Akamai推出了一款全新的AI推理解决方案，其基于分布式的架构设计，具有显著优势，能够有效降低60%的推理时延，挑战性能极限。

一、全球分布式的计算平台

Akamai是一家云服务、安全服务和CDN服务三位一体的全球最分布式的计算平台。经过连续收购Linode等公司，Akamai成功转型为一家以云服务、安全服务和CDN服务为主的企业，业务遍布全球130个国家，拥有1200多个运营商网络、超过4000个边缘节点、26个核心云计算节点和10个分布式节点。这些资源分布在全球各地，能够快速响应各种计算需求，提供高效率、低时延的服务。

二、AI推理解决方案

随着生成式AI应用数量的爆发式增长，Akamai敏锐地察觉到了这一趋势，并迅速推出了AI推理解决方案。该方案旨在加速人工智能推理工作负载，优化效率和成本。通过与英伟达、VastData等业界领先企业合作，Akamai提供了多样化的计算产品线，包括CPU虚机、GPU虚机、专属芯片的VPU虚拟机等，从不同的层面、不同的维度，帮助客户提供了AI推理选择。同时，Akamai还与RAG（Retrieval-Augmented Generation）技术等丰富的AI模型支持者合作，大大提升了客户在实时数据处理方面的能力。

三、分布式优势助力60%推理时延降低

Akamai的AI推理服务通过结合其全球分布式的边缘云平台和业界领先的分布式数据平台，帮助企业提供了高达3倍的推理吞吐能力，降低了高达60%的推理时延。这一显著成果得益于Akamai高度分布的架构设计，以及与合作伙伴的紧密合作。相比于同等的传统云计算厂商的基础设施，Akamai能够帮助客户降低使用成本高达86%。这一优势对于广大企业客户来说，无疑是一大利好。

四、边缘云计算和网络能力

Akamai的云平台和骨干网是集成的，这大大降低了面向最终用户推理的时延、数据传输时延，并提高了吞吐效率。此外，Akamai还在边缘云计算上拥有独特的优势。它与Fermyon合作，提供了WebAssembly（WASM）的支持，这可以帮助客户在边缘构建无服务器应用来支持其AI推理。这种支持使得AI推理更加便捷，且有助于降低开发成本。

五、持续研发提升模型安全能力

除了提供高效的AI推理服务，Akamai也关注模型的安全问题。在今年5月的“RSA Conference”上，Akamai正式发布了基于AI的防火墙，能够帮助用户保护其AI模型，防止其AI模型遭到恶意的攻击，如资源消耗型的攻击、以及恶意的Token注入攻击等。这一举措体现了Akamai对模型安全的重视，也是其持续研发和提升模型安全能力的体现。

总的来说，Akamai的AI新架构以其全球分布式的优势，为企业的AI推理提供了强大的支持。通过与各行业领先企业的合作，以及持续的研发和创新，Akamai正在不断挑战性能极限，为全球用户提供更优质、更高效的云计算服务。

生成海报

本文来源于极客网，原文链接: https://www.fromgeek.com/latest/685906.html