[NVIDIA V100] 高不成低不就的 V100 32G

話說，年紀大了腦子變得不好，再加上變得愈來愈懶，再再加上 AI 似乎很好用，雖然常常胡說八道一通，但用寫一些 Code，似乎還蠻好用的。只是，目前即是付費翻案，大概 Gemini 可以吃到吐之外，其他 ChatGPT 和 Claude 都段時間重置，也許是我沒用得很好，浪費太多 Token。所以，把歪腦筋動到了，乾脆自己弄一個 Local 的 AI，還好系統裡有兩張 GPU，A4000/16G 與 A2000/12G，A2000/12G 已經 DDA 給 Guest OS 了，所以先在 A4000 上試了一下，效果不是很好。主要問題在於模型。A4000 只有 16G VRAM，再加上要保留一些空間給長對話，所以可以塞入的模型大小就受限，如果 VRAM 空間不足，就動用到系統的記憶體，但只要動用到系統的記憶體，那麼速度會慢到吐血。關於這些相關的資訊，相信大家可以在網路上找到，這裡不多說。直接說 V100/32G。 為了塞入更大的模型，所以去查了一下 GPU，乖乖....VRAM 大的顯示卡可不是打工仔所能負擔得起的，好一點的已經是半部汽車的價錢。所以，老規矩，去淘寶找看看。搜尋來搜尋去，口袋勉強負擔得起只剩下 V100 了。V100 可真是道道地地給 Data Center 用的 GPU，沒有影像輸出的接口。當初想說，反正只是塞了個 Model 在裡面，我還有 A4000 和 A2000 可以輸出，應該不是太大問題，所以就從淘寶買了 V100/32G (64G (32Gx2)買不起)，外加個顯卡塢.... 剛拿到 V100 的時候，沒啥時間搞，前陣子有點時間，開始建立的時候....就是災難開始....為何是災難，我先說說我當初的想法。V100 用來替換 A2000/12G，依需要在 Host OS 當作 AI 模型的代理，如果 Guest OS 需要，則 DDA 給 Guest OS。當然，V100 在 Host OS 中，還有其他用途。總之，在我當初的規劃下，遇到的問題如下。 1. V4000 是新世代的顯示卡，V100 是舊世代的顯示卡。安裝完驅動程式後，Win Server 2019 下，A4000 是 WDDM 模式，V100 是 TCC 模式。 2. Ollama 無法將 模型放入 TCC 模式的 V100，每次都會放入 A4000。如果放不進 V100，那購買 V100 就失去了意義。 3. 把模型放入 V100 跑起來，要自己編譯 llama，而 V100 是舊的晶片，要找可以搭配的 CUDA Toolkit 版本。 4. 把 V100 DDA 給 Guest OS (Win10 Pro) 後，還是 TCC 模式，V100 的 OpenGL 無法使用....吐血。要變成 WDDM 模式，才能發揮其 OpenGL 的功效。網路上常看到的解法是安裝較舊版本的驅動程式，外加修改註冊表。但是，當每次把 V100 還給 Host 後，再重新 DDA 給 Guest OS，那麼得重來一次。如果要使用 WDDM 模式，得去 NVIDIA 申請啥 License，反正就是特殊的 License。不僅要錢，而且個人可能也無法申請。我沒申請試用。但目前最好的解法是，去網路上找非官方的驅動程式，好像是直接注入 Grid/vGPU，讓 V100 直接變成 WDDM 模式。目前，我的 Guest OS 就是用這種方式，使用 V100 的 OpenGL，CAD 看圖沒問題，GPU 運算還沒試。但這包非官方的驅動程式打在 Server 2019 上，我的 A4000 就變成基本顯卡，也就是說，A4000 無法使用這非官方的 (Grid/vGPU) 驅動程式。如果驅動 A4000，那麼 V100 又變成 TCC 模式。看來，A4000 與 V100 的 WDDM 是魚與熊掌，不過，讓 A4000 正常啟用，V100 至少能正常驅動，所以，Host OS 下，仍舊採用官方驅動程式。除非，把 A4000 換成 AMD 或其他的顯卡。 大概就這些雷了....