英伟达显卡驱动更新的优势：跑模型可以利用共享显存了
昨天碰巧在家跑模型，结果batch_size调的太高了，12G显存根本吃不消，本来以为要显存爆了，没想到发生了以往没看到的场景，共享显存也出现了占用（甚至是几乎满载）实话说这在以前确实是很难见到了，共享显存无法利用于跑模型。
查了一下发现了英伟达的一篇文章
虽然说用共享显存（实际上就是内存条里抽出来的）速度很慢，但是总比跑不了要好太多了
解决了显存不足的最大问题。
这个需求必须得满足。 占用这么多，不用共享好像没显卡能撑得住 新空气 发表于 2024-1-28 14:27
占用这么多，不用共享好像没显卡能撑得住
像真正的大模型都是专业卡来跑了，而且大模型都是多卡并行来训练的，比如一张H100有80GB的显存 ATP 发表于 2024-1-28 15:57
像真正的大模型都是专业卡来跑了，而且大模型都是多卡并行来训练的，比如一张H100有80GB的显存 ...
这天没法聊了{:15:}H100系列显存最高达到188GB，问题是个人谁会买，说不定玩游戏还没我4GB的1050Ti来的爽 新空气 发表于 2024-1-28 16:21
这天没法聊了H100系列显存最高达到188GB，问题是个人谁会买，说不定玩游戏还没我4GB的1050Ti来的爽 ...
玩游戏我强推RX580{:23:}
用过，真的爽
ATP 发表于 2024-1-28 17:10
玩游戏我强推RX580
用过，真的爽
只要把RMB花出去，一定很爽。
RMB用的越多，爽点越高。 这个需求应该不少人都有 哈哈哈