GPU 0: num_prompt=1000 throughput=28.37
GPU 0: num_prompt=1000 throughput=16.29
GPU 0: num_prompt=1000 throughput=6.77
GPU 0: num_prompt=1000 throughput=2.86
GPU 0: num_prompt=1000 throughput=34.15
GPU 0: num_prompt=1000 throughput=12.99
GPU 0: num_prompt=1000 throughput=6.52
GPU 0: num_prompt=1000 throughput=2.58
GPU 0: num_prompt=1000 throughput=20.25
GPU 0: num_prompt=1000 throughput=8.85
GPU 0: num_prompt=1000 throughput=4.65
GPU 0: num_prompt=1000 throughput=1.93
GPU 0: num_prompt=1000 throughput=10.58
GPU 0: num_prompt=1000 throughput=5.31
GPU 0: num_prompt=1000 throughput=2.94
GPU 0: num_prompt=1000 throughput=1.44
GPU 0: num_prompt=1000 throughput=3.73
GPU 0: num_prompt=1000 throughput=2.17
GPU 0: num_prompt=1000 throughput=1.34
GPU 0: num_prompt=1000 throughput=0.72
GPU 0: num_prompt=1000 throughput=1.22
GPU 0: num_prompt=1000 throughput=0.40
GPU 0: num_prompt=1000 throughput=0.21
GPU 0: num_prompt=1000 throughput=0.12
GPU 0: num_prompt=1000 throughput=0.59
GPU 0: num_prompt=1000 throughput=0.39
GPU 0: num_prompt=1000 throughput=0.07
GPU 0: num_prompt=1000 throughput=0.03