05月
27日
红帽联合四大科技巨头推出开源项目 llm-d，实现 AI 推理成本降低 60%
牛透社 5 月 27 日消息，红帽公司联合 CoreWeave、Google Cloud、IBM Research 和 NVIDIA 等企业启动开源项目 llm-d，旨在破解生成式人工智能大规模推理的行业性难题。
该项目通过异构加速器兼容、分布式推理优化和智能资源编排三大技术突破，实现推理成本降低 40% 至 60%。红帽公司为全球开源解决方案领导者，llm-d 深度整合企业现有 IT 基础设施，主要应用于提升 AI 推理的资源利用率。创始成员包括 AMD、思科、Hugging Face 等生态伙伴，共同构建完整技术栈。
