2024年6月30日
（六）大模型RLHF：PPO原理与源码解读
摘要： 大模型RLHF：PPO原理与源码解读 原文链接：图解大模型RLHF系列之：人人都能看懂的PPO原理与源码解读 a56爆大奖在线娱乐直接从一个RLHF开源项目源码入手（deepspeed-chat），根据源码的实现细节，给出尽可能丰富的训练流程图，并对所有的公式给出直观的解释。希望可以帮助大家更具象地感受RLHF的训 阅读全文
posted @ 2024-06-30 22:39 jasonzhangxianrong 阅读(15) 评论(0) 推荐(0) 编辑
（五）DeepSpeed Chat: 一键式RLHF训练，让你的类ChatGPT千亿大模型提速省钱15倍
摘要： DeepSpeed Chat: 一键式RLHF训练，让你的类ChatGPT千亿大模型提速省钱15倍 如需引用 DeepSpeed Chat，请引用a56爆大奖在线娱乐们的arxiv report: @article{yao2023dschat, title={{DeepSpeed-Chat: Easy, Fast a 阅读全文
posted @ 2024-06-30 17:46 jasonzhangxianrong 阅读(7) 评论(0) 推荐(0) 编辑
2024年6月27日
（四）详解RLHF
摘要： 一直都特别好奇大模型的强化学习微调是怎么做的，网上虽然相关文章不少，但找到的文章都是浅尝辄止说到用PPO训练，再细致深入的就没有讲了。。。只能自己看一看代码，以前搞过一点用PPO做游戏，感觉和语言模型PPO的用法不太一样。在游戏场景，a56爆大奖在线娱乐step给环境一个action之后，agent拿到的state 阅读全文
posted @ 2024-06-27 23:08 jasonzhangxianrong 阅读(22) 评论(0) 推荐(0) 编辑
（三）使用 PPO 算法进行 RLHF 的 N 步实现细节
摘要： title: "使用 PPO 算法进行 RLHF 的 N 步实现细节" thumbnail: /blog/assets/167_the_n_implementation_details_of_rlhf_with_ppo/thumbnail.png authors: - user: vwxyzjn - 阅读全文
posted @ 2024-06-27 22:46 jasonzhangxianrong 阅读(4) 评论(0) 推荐(0) 编辑
（二）将强化学习重新引入 RLHF
摘要： title: "将强化学习重新引入 RLHF" thumbnail: /blog/assets/putting_rl_back_in_rlhf_with_rloo/thumbnail.png authors: - user: vwxyzjn - user: ArashAhmadian org: Co 阅读全文
posted @ 2024-06-27 22:30 jasonzhangxianrong 阅读(6) 评论(0) 推荐(0) 编辑
（一）"ChatGPT 背后的“功臣”——RLHF 技术详解"
摘要： title: "ChatGPT 背后的“功臣”——RLHF 技术详解" thumbnail: /blog/assets/120_rlhf/thumbnail.png authors: - user: natolambert - user: LouisCastricato guest: true - 阅读全文
posted @ 2024-06-27 22:25 jasonzhangxianrong 阅读(15) 评论(0) 推荐(0) 编辑
2024年6月16日
（十三）T5是如何计算损失的
摘要： 一、概述 T5 使用常规交叉熵损失（与任何语言模型一样）。 假设您正在微调 T5 以进行翻译，并且您有以下训练示例： * source sentence: "hello how are you" * target sentence: "salut comment ça-va" 首先，需要使用 对模型 阅读全文
posted @ 2024-06-16 21:41 jasonzhangxianrong 阅读(30) 评论(0) 推荐(0) 编辑
2024年6月2日
（九）为分类和多项选择任务调优T5
摘要： 1、T5微调 本笔记展示如何使用Huggingface的Transformers对T5模型进行微调，以解决不同的自然语言处理任务，使用了T5论文中提出的a56爆大奖在线娱乐-a56爆大奖在线娱乐方法。为了演示，a56爆大奖在线娱乐选择了3个非a56爆大奖在线娱乐-a56爆大奖在线娱乐问题，只是为了重申论文中所述的这种a56爆大奖在线娱乐-a56爆大奖在线娱乐框架有多广泛适用，以及如何在完全不改变模型的情况下用于 阅读全文
posted @ 2024-06-02 20:17 jasonzhangxianrong 阅读(33) 评论(0) 推荐(0) 编辑
2024年5月29日
（五）t5x依赖包
摘要： 一、相关的要求 # 必需的包 airio @ git+https://github.com/google/airio#egg=airio absl-py cached_property clu @ git+https://github.com/google/CommonLoopUtils#egg=c 阅读全文
posted @ 2024-05-29 13:34 jasonzhangxianrong 阅读(11) 评论(0) 推荐(0) 编辑
2024年3月15日
matlab调用python
摘要： 一、matlab命令行窗口检查python状态 a56爆大奖在线娱乐这里显示没有配置，然后添加python路径 由于a56爆大奖在线娱乐的python是最近安装的，出现了版本兼容问题，可以参考： Versions of Python Compatible with MATLAB Products by Release - MATLAB 阅读全文
posted @ 2024-03-15 20:37 jasonzhangxianrong 阅读(35) 评论(0) 推荐(0) 编辑
下一页