Hugging Face Accelerate 两个后端的故事：FSDP 与 DeepSpeed

社区中有两个流行的 零冗余优化器（Zero Redundancy Optimizer，ZeRO） 算法实现，一个来自 DeepSpeed，另一个来自 PyTorch。Hugging Face Accelerate 对这两者都进行了集成并通过接口暴露出来，以供最终用户在训练/微调模型时自主选择其中之一
posted @ 2024-06-27 23:32  HuggingFace  阅读(144)  评论(0)  编辑  收藏  举报