DeepSeek R-1被視為一種完全開放的模型，這意味著任何人都可以采用基本的代碼庫，對其進行調整，甚至根據自己的需求進行微調。從技術的角度來看，DeepSeek R-1（通常以R1的縮寫為R1）源于一種稱為DeepSeek-V3的大型基本模型。然后，實驗室通過在高質量的人類標記的數據和增強學習（RL）上結合了監督的微調（SFT）來完善該模型。

如何在本地運行DeepSeek？

要在本地運行DeepSeek R-1，我們將使用一種稱為Ollama的工具。Ollama是一種免費的開源工具，允許用戶在其計算機上本地運行大型語言模型（LLMS）。它可用于MacOS，Linux和Windows。前往Ollama官方網站，然后單擊“下載”按鈕。將其安裝在系統上。

安裝完成后，在終端或命令提示符中運行以下命令以檢查Ollama是否安裝成功：

ollama -v

在“模型”選項卡下，搜索關鍵字“ DeepSeek”，您應該在搜索列表上的第一個項目上看到“ DeepSeek-r1”。

單擊它，然后在模型部分下進行，您會注意到有多個型號尺寸從50億到6710億個參數。根據經驗，較大的型號需要更強大的GPU才能運行。

諸如80億參數版本之類的較小型號可以使用8GB的VRAM在GPU上運行。較大的模型需要更多的資源（請參閱下面的VRAM和GPU要求部分）。要下載并運行80億個參數模型，請使用以下命令：

ollama run deepseek-r1:8b

該模型將開始下載（約4.9GB）。在繼續前，請確保您有足夠的磁盤空間。

下載后，該型號將在您的計算機上本地運行。您可以立即與之聊天。

其他ollama可以做的事情：?

• 在本地運行LLMS，包括Llama2，Phi 4，Mistral和Gemma 2
• 允許用戶創建和共享自己的LLM
• 捆綁型號的權重，配置和數據到一個軟件包中
• 優化設置和配置詳細信息，包括GPU使用

GPU和VRAM要求

DeepSeek-R1的VRAM要求取決于模型大小，參數計數和量化技術等因素。以下是DeepSeek-R1及其蒸餾模型的VRAM需求的詳細概述，以及推薦的GPU：

VRAM使用的關鍵說明：

• 用于較大型號的分布式GPU設置：運行DeepSeek-R1-Zero和DeepSeek-R1需要實質性的VRAM，需要分布式GPU配置（例如，在多GPU設置中NVIDIA A100或H100）才能進行最佳性能。
• 蒸餾模型的單GPU兼容性：蒸餾模型被優化，可在較低的VRAM需求的單個GPU上運行，僅為0.7 GB。
• 額外的內存用法：可能會消耗額外的內存，以進行激活，緩沖區和批處理處理任務。

為什么要在本地運行？

當然，DeepSeek的Web聊天機器人和移動應用程序是免費的，并且非常方便。您無需設置任何東西，并且諸如DeepThink和Web搜索之類的功能都可以在進來。但是，有幾個原因為什么在本地運行它可能是一個更好的選擇：

• 隱私?：當您使用Web或應用程序版本時，您的查詢以及任何文件附件都會發送到DeepSeek的服務器進行處理。該數據會怎樣？我們不知道。在本地運行該模型可確保您的數據停留在機器上，從而使您完全控制自己的隱私。
• 離線訪問?：在本地運行該模型意味著您不需要Internet連接。如果您旅行，處理斑點Wi-Fi，或者只是更喜歡離線工作，那么本地設置可讓您隨時隨地使用DeepSeek。
• 未來的防護?：DeepSeek的服務現在可能是免費的，但這不太可能永遠持續下去。在某個時候，他們需要貨幣化，并且可能會隨后使用限額或訂閱費。通過本地運行該模型，您可以完全避開這些限制。
• 靈活性?：使用本地版本，您不僅限于默認設置。想微調模型嗎？將其與其他工具集成在一起？構建自定義接口？ DeepSeek R-1的開源本質為您帶來了無盡的可能性。

在這一點上，尚不清楚DeepSeek如何處理用戶數據。如果您不太擔心數據隱私，則使用Web或移動應用程序可能是可以使用的方式，因為它們更易于使用并提供DeepThink和Web搜索之類的功能。但是，如果您是關心數據結束的地方，那么在本地運行該模型是一個很好的考慮。

DeepSeek型號的設計旨在即使在不強大的硬件上運行良好。盡管諸如DeepSeek-R1-Zero之類的較大型號需要分布式的GPU設置，但蒸餾版使得可以在單個GPU上順利運行，并具有較低的要求。如果您不喜歡使用終端，則可以隨時使用諸如Gradio或Chatbox AI之類的工具添加簡單的UI。