2024年5月30日
大模型中用到的归一化方法总结
摘要： 大模型中的归一化主要是为了解决LLM训练不稳定的问题 LLM中归一化方法可以按照归一化方法来分，主要分为LayerNorm，BatchNorm，RMSNorm以及DeepNorm 按照归一化位置来分类，包括 postNorm 和 preNorm 1. BatchNorm BatchNorm主要对数据 阅读全文
posted @ 2024-05-30 19:57 是a56爆大奖在线娱乐菜了 阅读(50) 评论(0) 推荐(0) 编辑
国内镜像源
摘要： 1、国内常用镜像源清华大学 ：https://pypi.tuna.tsinghua.edu.cn/simple/ 阿里云：http://mirrors.aliyun.com/pypi/simple/ 中国科学技术大学 ：http://pypi.mirrors.ustc.edu.cn/simple/ 阅读全文
posted @ 2024-05-30 15:04 是a56爆大奖在线娱乐菜了 阅读(101) 评论(0) 推荐(0) 编辑
TF-IDF算法
摘要： TF-IDF（term frequency–inverse document frequency，词频-逆向文件频率） TF-IDF本质上是a56爆大奖在线娱乐统计方法，用来评估一个词/token在整个语料库中当前文档中的重要程度，字词的重要性随着它在当前文档中出现的频率成正比增加，随着它在整个语料库中出现的频率成 阅读全文
posted @ 2024-05-30 14:57 是a56爆大奖在线娱乐菜了 阅读(8) 评论(0) 推荐(0) 编辑
2024年5月28日
基于PySpark的深度学习模型（CPU版）推理项目
摘要： 一 目的 针对图数据量较大，利用深度模型进行推理耗时严重的问题，充分利用分布式平台可多核并行推理的优势，实现分布式推理流程。 二 方法 主要思路： ① 模型封装：将模型推理方法封装成python 库的架包 ② 安装架包：将该架包安装到项目所需的python环境中 ③ 打包环境：打包环境上传到分布式平 阅读全文
posted @ 2024-05-28 14:45 是a56爆大奖在线娱乐菜了 阅读(13) 评论(0) 推荐(0) 编辑
2024年5月27日
PySpark分布式项目运行流程
摘要： 1. PySpark 是 Spark 为 Python 开发者提供的 API。 2. 基于PySpark的分布式项目主要由三部分组成，如图1所示，a56爆大奖在线娱乐们在开发自己的分布式程序时，只需要关注两部分，1是开发自己项目的PySpark代码，2是将该代码运行需要的环境进行打包。 下面的countNum.py即 阅读全文
posted @ 2024-05-27 15:29 是a56爆大奖在线娱乐菜了 阅读(14) 评论(0) 推荐(0) 编辑
mysql常用命令
摘要： 连接mysqlmysql -u algorithm -h xxx -P 11234 -pxxx 添加索引alter table wiki_update_info add index idx_url(url);查看阻塞进程 select * from information_schema.innodb 阅读全文
posted @ 2024-05-27 15:15 是a56爆大奖在线娱乐菜了 阅读(2) 评论(0) 推荐(0) 编辑
常用hdfs命令
摘要： hdfs dfs -mkdir /home/hdp-ait/wangwei22hdfs dfs -ls /home/hdp-ait/wangwei22hdfs dfs -du -h /home/hdp-ait/wangwei22hdfs dfs -touchz /home/hdp-ait/wangw 阅读全文
posted @ 2024-05-27 14:56 是a56爆大奖在线娱乐菜了 阅读(1) 评论(0) 推荐(0) 编辑
常用docker命令
摘要： 1、拉取该镜像sudo docker pull ml-harbor.ops.qianxin-inc.cn/qaxgpt/transformers-pytorch-deepspeed-latest-gpu-ww-fa:latest2、创建容器，运行该镜像sudo docker run -t -i ml 阅读全文
posted @ 2024-05-27 14:55 是a56爆大奖在线娱乐菜了 阅读(4) 评论(0) 推荐(0) 编辑
2024年4月22日
VSCode 远程连接失败
摘要： 原因分析： 1. 远程服务器没有网络连接，申请服务器网络连接。 2. 本地电脑异常关机，连接未中断，打开VS Code菜单"View"->“Command Palatte”->“Kill VS Code Server on Host”，选择出问题的远程服务器杀掉那个上面的VS Code server 阅读全文
posted @ 2024-04-22 10:11 是a56爆大奖在线娱乐菜了 阅读(64) 评论(0) 推荐(0) 编辑
2023年10月25日
Falcon：a56爆大奖在线娱乐们是靠洗数据洗败 LLaMA 的！
摘要： 原文链接：https://blog.csdn.net/qq_27590277/article/details/131298092 思想： 从数据入手，想炼丹，先把好原材料的关。 这个模型仅使用“互联网语料”（不需要额外的数据源），就可以训练一个不错的大模型。 问题点： 数据、wikipedia、论文 阅读全文
posted @ 2023-10-25 15:12 是a56爆大奖在线娱乐菜了 阅读(45) 评论(0) 推荐(0) 编辑
下一页