GPU 0: num_prompt=1000 throughput=0.59
GPU 0: num_prompt=1000 throughput=0.39
GPU 0: num_prompt=1000 throughput=0.07
GPU 0: num_prompt=1000 throughput=0.03