2024年6月28日
Google 发布最新开放大语言模型 Gemma 2，现已登陆 Hugging Face Hub
摘要： Google 发布最新开放大语言模型 Gemma 2，现已登陆 Hugging Face Hub Google 发布了最新的开放大语言模型 Gemma 2，a56爆大奖在线娱乐们非常高兴与 Google 合作，确保其在 Hugging Face 生态系统中的最佳集成。你可以在 Hub 上找到 4 个开源模型（2 个基础模型和 2 个微调模型）。发布的功能和集成包括： Hub 上的模型 Hugging Face T 阅读全文
posted @ 2024-06-28 08:12 HuggingFace 阅读(145) 评论(0) 推荐(0) 编辑
2024年6月27日
Hugging Face Accelerate 两个后端的故事：FSDP 与 DeepSpeed
摘要： Hugging Face Accelerate 两个后端的故事：FSDP 与 DeepSpeed 社区中有两个流行的 零冗余优化器（Zero Redundancy Optimizer，ZeRO） 算法实现，一个来自 DeepSpeed，另一个来自 PyTorch。Hugging Face Accelerate 对这两者都进行了集成并通过接口暴露出来，以供最终用户在训练/微调模型时自主选择其中之一 阅读全文
posted @ 2024-06-27 23:32 HuggingFace 阅读(130) 评论(0) 推荐(0) 编辑
更难、更好、更快、更强：LLM Leaderboard v2 现已发布
摘要： 摘要 评估和比较大语言模型 (LLMs) 是一项艰巨的任务。a56爆大奖在线娱乐们 RLHF 团队在一年前就意识到了这一点，当时他们试图复现和比较多个已发布模型的结果。这几乎是不可能完成的任务：论文或营销发布中的得分缺乏可复现的代码，有时令人怀疑，大多数情况下只是通过优化的提示或评估设置来尽量提升模型表现。因此，他们 阅读全文
posted @ 2024-06-27 10:46 HuggingFace 阅读(410) 评论(0) 推荐(2) 编辑
2024年6月26日
英特尔 Gaudi 加速辅助生成
摘要： 英特尔 Gaudi 加速辅助生成 随着模型规模的增长，生成式人工智能的实现需要大量的推理资源。这不仅增加了每次生成的成本，而且还增加了用于满足此类请求的功耗。因此，a56爆大奖在线娱乐生成的推理优化对于降低延迟、基础设施成本以及功耗都至关重要，其可以改善用户体验并提高a56爆大奖在线娱乐生成任务的效率。 辅助解码是a56爆大奖在线娱乐用于加速a56爆大奖在线娱乐生成的流行方法。a56爆大奖在线娱乐们在英特尔 Ga 阅读全文
posted @ 2024-06-26 16:38 HuggingFace 阅读(153) 评论(0) 推荐(0) 编辑
2024年6月25日
TGI 基准测试
摘要： a56爆大奖在线娱乐主要探讨 TGI 的小兄弟 - TGI 基准测试工具。它能帮助a56爆大奖在线娱乐们超越简单的吞吐量指标，对 TGI 进行更全面的性能剖析，以更好地了解如何根据实际需求对服务进行调优并按需作出最佳的权衡及决策。如果你曾觉得 LLM 服务部署成本太高，或者你想对部署进行调优，那么a56爆大奖在线娱乐很适合你！ a56爆大奖在线娱乐将向大家展示如何轻 阅读全文
posted @ 2024-06-25 17:09 HuggingFace 阅读(67) 评论(0) 推荐(0) 编辑
2024年6月19日
将强化学习重新引入 RLHF
摘要： a56爆大奖在线娱乐们很高兴在 TRL 中介绍 RLOO (REINFORCE Leave One-Out) 训练器。作为a56爆大奖在线娱乐替代 PPO 的方法，RLOO 是a56爆大奖在线娱乐新的在线 RLHF 训练算法，旨在使其更易于访问和实施。特别是， RLOO 需要的 GPU 内存更少，并且达到收敛所需的挂钟时间也更短。如下面的图表所示: 阅读全文
posted @ 2024-06-19 22:52 HuggingFace 阅读(121) 评论(0) 推荐(1) 编辑
2024年6月17日
欢迎 Stable Diffusion 3 加入 🧨 Diffusers
摘要： 欢迎 Stable Diffusion 3 加入 🧨 Diffusers 作为 Stability AI 的 Stable Diffusion 家族最新的模型，Stable Diffusion 3 (SD3) 现已登陆 Hugging Face Hub，并且可用在 🧨 Diffusers 中使用了。 当前放出的模型版本是 Stable Diffusion 3 Mediu 阅读全文
posted @ 2024-06-17 22:35 HuggingFace 阅读(813) 评论(0) 推荐(2) 编辑
2024年6月12日
用 KV 缓存量化解锁长a56爆大奖在线娱乐生成
摘要： 很高兴和大家分享 Hugging Face 的一项新功能: KV 缓存量化 ，它能够把你的语言模型的速度提升到一个新水平。 太长不看版: KV 缓存量化可在最小化对生成质量的影响的条件下，减少 LLM 在长a56爆大奖在线娱乐生成场景下的内存使用量，从而在内存效率和生成速度之间提供可定制的权衡。 你是否曾尝试过用语 阅读全文
posted @ 2024-06-12 18:23 HuggingFace 阅读(206) 评论(0) 推荐(1) 编辑
2024年6月7日
用 Sentence Transformers v3 训练和微调嵌入模型
摘要： 用 Sentence Transformers v3 训练和微调嵌入模型 Sentence Transformers 是一个 Python 库，用于使用和训练各种应用的嵌入模型，例如检索增强生成 (RAG)、语义搜索、语义a56爆大奖在线娱乐相似度、释义挖掘 (paraphrase mining) 等等。其 3.0 版本的更新是该工程自创建以来最大的一次，引入了a56爆大奖在线娱乐新的训练方法。在这篇博 阅读全文
posted @ 2024-06-07 17:38 HuggingFace 阅读(319) 评论(0) 推荐(0) 编辑
2024年6月6日
使用 Hugging Face 推理终端搭建强大的“语音识别 + 说话人分割 + 投机解码”工作流
摘要： 使用 Hugging Face 推理终端搭建强大的“语音识别 + 说话人分割 + 投机解码”工作流 Whisper 是当前最先进的开源语音识别模型之一，毫无疑问，也是应用最广泛的模型。如果你想部署 Whisper 模型，Hugging Face 推理终端 能够让你开箱即用地轻松部署任何 Whisper 模型。但是，如果你还想叠加其它功能，如用于分辨不同说话人的说话人分割，或用于投机解码的辅助生成， 阅读全文
posted @ 2024-06-06 11:25 HuggingFace 阅读(412) 评论(0) 推荐(2) 编辑
下一页