Hugging Face Blog·· 2023-04-17精选AI 评分65
Hugging Face Transformers 在 AWS Inferentia2 上的加速与基准测试
Accelerating Hugging Face Transformers with AWS Inferentia2
AI 导读
Hugging Face 与 AWS 合作优化 Transformers 在 AWS Inferentia2 上的推理，并通过基准测试比较其与 Inferentia1 和 NVIDIA A10G 的延迟表现。
推荐理由
文章用144组实验比较不同模型架构和序列长度下的延迟表现，并给出与Inferentia1及NVIDIA A10G的对照数据。
来源：Hugging Face Blog · huggingface.co