Elastic Blog· Gregory Chase,Rachael Wade,Kapil Jadhav·· 14 小时前精选AI 评分64
Elastic将部分Jina模型迁移至NVIDIA RTX Pro 6000 GPU以提升推理速度
Elastic looks to speed up Jina Model Inference by 8x using NVIDIA RTX GPUs
AI 导读
Elastic正将Jina API与Elastic Inference Service中的部分模型从NVIDIA L40迁移至NVIDIA RTX Pro 6000 Blackwell Server Edition GPU，无需客户更改即可获得性能提升。早期结果显示，最慢的嵌入请求最高加速8倍，重排序快4倍以上，OCR文档转换速度提高3.7倍；更多模型仍在迁移中。
推荐理由
提供迁移前后延迟与吞吐对比，覆盖共享GPU下的混合负载，可帮助团队评估托管推理服务迁移后的性能收益与容量规划。
来源：Elastic Blog · elastic.co