06月
17日
Groq 推出全球首个 13 万标记上下文支持并接入 Hugging Face 生态,冲击 AI 推理市场
牛透社 6 月 16 日消息,人工智能推理芯片初创公司 Groq 宣布两项重大战略部署:宣布全面支持阿里通义千问 3 – 32B 大模型的 131,000 标记完整上下文窗口,以及成为 Hugging Face 平台认证推理服务商。
此次部署使其成为全球首个支持长上下文窗口的推理服务商,并通过生态整合触达数百万开发者。技术优势包括:1. 定制 LPU 架构较 GPU 内存处理效率提升;2. Qwen3 – 32B 模型部署速度达 535 标记/秒;3. 输入输出成本较头部厂商低 15% – 20%。当前基础设施处理能力为 2000 万标记/秒,覆盖美加及中东数据中心。