怎样比较快速绑定显卡运行模型

[344303947]

求助：有2块显卡 想绑定A 显卡运行V3模型，B显卡运行R1模型，有什么比较好的办法能直接指定吗，如设置环境变量这种方式。

[vibe-Chen]

也许可以写yaml来指定： https://kvcache-ai.github.io/ktransformers/en/multi-gpu-tutorial.html ，理论上只要把V3被显卡加载的层都重定向到显卡A、把R1的都重定向到显卡B就可以实现了
不过我猜测你是打算同时跑V3和R1，所以还是友情提醒一下，占大头的内存是不共享的，还不如一次跑一个模型然后双卡双待

[344303947]

内存够2个实例，不共享也可以，只是显卡默认都跑第一个去了，导致无法运行起来第二个实例

[344303947]

想找个足够简单粗暴的直接能指定运行显卡，修改源码或者能简单配置指定显卡的方式。

[344303947]

找到简单的办法了完美解决~