2024年5月3日
libtorch推理速度过慢
摘要： 1 原因 torchscript runtime在第一阶段会进行优化 2 解决办法 #include <torch/csrc/jit/python/update_graph_executor_opt.h> torch::jit::setGraphExecutorOptimize(false); 参考 阅读全文
posted @ 2024-05-03 17:54 珠峰上吹泡泡 阅读(35) 评论(0) 推荐(0) 编辑
libtorch使用model.forward报std::runtime_error错误
摘要： 1、原因 模型向GPU拷贝时发生异常 model = torch::jit::load(ptFile); if (isHalf) { model.to(torch::kHalf); } model.to(device);//GPU版异常，可能模型并没有完全放到GPU上 2、解决方法 model = 阅读全文
posted @ 2024-05-03 09:01 珠峰上吹泡泡 阅读(13) 评论(0) 推荐(0) 编辑