至知创新研究院开源专用推理引擎IQuestRT
热点事件持续更新
至知创新研究院开源专用推理引擎IQuestRT
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
至知创新研究院发布并开源了面向 IQuest-Q1 的专用推理优化引擎 IQuestRT，代码已在 GitHub 公开，采用 Apache-2.0 许可证，并提供安装、运行和性能测试说明。 据该院公布的数据，在 8 卡高性能 GPU、8 路张量并行、单请求条件下，IQuestRT 的解码吞吐量为 910.70 tokens/s，是 vLLM 参考配置 309.83 tokens/s 的 2.94 倍。 IQuestRT 针对 IQuest-Q1 及特定 GPU 计算架构和互连环境设计，需要 8 路张量并行和单个活动请求，暂不支持其他模型、GPU 架构及并行配置。
AI 根据报道生成 · 1 小时前更新
最新进展11月6日 10:50
至知创新研究院开源 IQuestRT 推理引擎，单请求解码吞吐达 vLLM 参考配置 2.94 倍报道时间线
沿着报道，了解事件的不同侧面。
11月6日
- 智源社区至知创新研究院开源 IQuestRT 推理引擎，单请求解码吞吐达 vLLM 参考配置 2.94 倍
至知创新研究院（IQuest Research）发布并开源面向 IQuest-Q1 的专用推理优化引擎 IQuestRT。在 8 卡高性能 GPU、8 路张量并行、单请求条件下，其解码吞吐量达 910.70 tokens/s，为 vLLM 参考配置 309.83 tokens/s 的 2.94 倍。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。