使用 AIPerf 对大规模 LLM 推理进行基准测试

AIPerf用于对大规模LLM推理进行基准测试，替代依赖curl命令、自编asyncio脚本或一次性负载生成器的手工测试方式。现有测试方案可能受到单进程性能限制和Python GIL并发上限影响，AIPerf聚焦大规模部署场景下的推理性能测量。