【客戶檔案不能上雲】律師自砌 8 張二手 V100 伺服器　跑 DeepSeek 抽事實寫摘要　曾兩度重啟電源接頭燒焦

法律界對資料私隱的要求向來嚴苛，大量客戶檔案、案件紀錄均屬機密，不能上傳至公開雲端服務處理。有消息指，一名律師為解決這個痛點，索性自行組裝一台私有 AI 伺服器，核心是 8 張已經退役、屬二手市場流通的 Nvidia Tesla V100 顯示卡。這批顯示卡原為 2018 年推出的數據中心級產品,如今因為價格相宜,反而成為搭建本地 AI 算力的熱門選擇。

【硬件拆解】8 張 V100 分兩板 靠 NVLink 直連

據消息透露,這台伺服器的硬件配置相當講究。8 張 V100-SXM2-32GB 顯示卡,被拆分裝在兩塊板上,每塊板內的 4 張卡,以 Nvidia 專有的高速直連技術 NVLink 相連,令每塊板合共擁有 128GB 顯示記憶體；兩塊板之間則依靠 PCIe 匯流排溝通數據。主機板選用 Gigabyte 的 Threadripper Pro 型號,搭配 12 核心的 AMD 3945WX 處理器,系統記憶體方面原本採用 DDR4-3200 規格,共 256GB。電源方面,整套系統由兩個合共 2,800W 容量的電源供應器驅動。成本上,每塊 4 卡板購入價約 2,400 美元,換算下來每張二手 V100 顯示卡平均只需約 400 美元；不過隨著話題擴散,目前 eBay 上同款二手卡叫價已升至約 900 美元一張。

【跑 DeepSeek 做乜】抽事實寫日期 摘要例行文件初稿

硬件砌好之後,軟件層面上這台伺服器運行的是開源模型 DeepSeek V4.1 Flash,並將模型大部分壓縮至僅 2 bit 精度,即使如此壓縮,模型權重仍佔用 248.8GB 儲存空間,另有約 110GB 的查詢表存放於系統記憶體。實際用途上,律師每天用這台機器初步處理案件檔案,包括讀取資料夾內的紀錄、抽取事實、日期與數字,再整理成摘要以及草擬例行文件的初稿；所有輸出內容,最終仍須經人手審核才會對外發出。效能方面,系統在撰寫法律文件時可達每秒 118 個 token 的生成速度,處理程式碼生成任務時則可達每秒 215 個 token；但面對 128,000 個 token 的長上下文提示,首字回應等待時間就要接近 1 分鐘。律師估計,現時約有 50% 至 60% 原本需要交給雲端前沿模型處理的 AI 工作流程,已經可以改由這台本地伺服器接手執行,其餘部分則仍需依賴雲端服務。

【代價與教訓】兩度自行重啟 電源接頭現燒焦痕跡

不過,這場「省雲端費、保資料私隱」的實驗並非一帆風順。據了解,系統在未限制顯示卡時脈之前,曾兩次因 PCIe 匯流排出現致命錯誤而自行重啟;同時其中一塊板的電源接頭,被發現留有明顯燒焦痕跡,具體成因未有確實結論。為解決問題,搭建者將每張顯示卡的功率上限,由額定約 300W 大幅調低至 150W,並將顯示卡時脈上限設定在 1,522 MHz；另外亦將系統記憶體速度,由原本的 DDR4-3200 降至 DDR4-2666,以消除記憶體層面出現的未更正錯誤。經過這一連串降頻降功後,系統才轄下穩定運作,不再出現自行重啟的情況。

這宗個案反映的,其實是整個法律行業近期面對的共同課題——當人工智能工具愈趨普及,客戶資料私隱與雲端服務的便利性之間,如何取得平衡,成為執業者必須正視的問題。對於處理敏感檔案的專業服務行業而言,本地化部署雖然涉及額外的硬件採購、電力管理以至散熱風險,但換來的是資料不離開辦公室的安心保證。這宗「自己砌伺服器」的個案或許只是個別案例,卻側面印證了部分執業者,寧願承受硬件故障的代價,也要堅守客戶資料不上雲的底線。

免責聲明：本專頁刊載的所有投資分析技巧，只可作參考用途。市場瞬息萬變，讀者在作出投資決定前理應審慎，並主動掌握市場最新狀況。若不幸招致任何損失，概與本刊及相關作者無關。而本集團旗下網站或社交平台的網誌內容及觀點，僅屬筆者個人意見，與新傳媒立場無關。本集團旗下網站對因上述人士張貼之資訊內容所帶來之損失或損害概不負責。

—