如何在 Raspberry Pi 5 上運(yùn)行 DeepSeek R1
加入技術(shù)交流群
你不能錯(cuò)過(guò)這場(chǎng)地震事件，英偉達(dá)市值損失了 5890 億美元，因?yàn)樵?DeepSeek 聲稱其開源 R1 模型可以提供競(jìng)爭(zhēng)對(duì)手 OpenAI 的 o1 模型性能后，人們對(duì) AI 的信心受到了打擊，用于訓(xùn)練其最新模型的計(jì)算量減少了 11 倍。
本文引用地址：http://www.ex-cimer.com/article/202502/466787.htm
（圖片來(lái)源：Tom's Hardware）
在我們深入研究這個(gè)如何做之前，讓我們先管理一下期望。是的，您可以在 Raspberry Pi 上運(yùn)行 DeepSeek，但它受 CPU 限制，因此不要指望您的查詢?cè)趲酌腌妰?nèi)完成。目前沒(méi)有官方的 AI 加速器 HAT 或插件可以加速模型。唯一的方法是將 GPU 連接到 Raspberry Pi 5 的 PCIe 連接器，可能使用 Pineboard 的 Hat UPCIty Lite 板和外部電源之一。
這意味著 Raspberry Pi 5 比我的臺(tái)式電腦處于劣勢(shì)，因?yàn)槲业呐_(tái)式電腦配備了 Nvidia RTX 4070 GPU。當(dāng) ollama 運(yùn)行時(shí)，它會(huì)檢查 GPU，如果找到，它將使用它。所以我的 RTX 4070 正在做所有的工作。
測(cè)試
在本地運(yùn)行 R1：8b，我想要一個(gè)簡(jiǎn)單的測(cè)試，我想到的第一件事是編寫一些 Python 代碼。提示是：
“編寫一個(gè) Python 腳本來(lái)詢問(wèn)用戶的姓名，將其保存到一個(gè)名為 username 的變量中，然后用他們的名字問(wèn)候用戶 100 次。”
（圖片來(lái)源：Tom's Hardware）
我通常如何解決這個(gè)問(wèn)題？三行 Python 代碼，一行用于捕獲用戶輸入到變量，然后兩行用于創(chuàng)建打印個(gè)性化問(wèn)候語(yǔ)的 for 循環(huán)。這是我教給數(shù)百名學(xué)生的基本初學(xué)者 Python，那么 AI 將如何解決它呢？
username = input("What is your name?: ")
for i in range(100):
print("Hello",username)
測(cè)試機(jī) | 規(guī)格 | 所用時(shí)間 |
樹莓派 5 | 8GB LPDDR4X RAM，Broadcom BCM2712 2.4GHz 四核 64 位 Arm Cortex-A76 CPU | 8 分 01 秒 08 分鐘 |
AMD 銳龍 5 5600X | 32GB DDR4 內(nèi)存 AMD Ryzen 5 5600X 六核 3.7 / 4.6 GHz CPU Nvidia RTX 4070 GPU | 16.12 秒 |
Raspberry Pi 5 的代碼如下
username = input().strip
for _ in range(100):
print(f”Hello, {username}”)
捕獲用戶輸入，然后在將其分配給函數(shù)之前對(duì)其進(jìn)行清理是明智之舉。該條帶將從捕獲的字符串中刪除任何空格。使用 f 字符串打印問(wèn)候語(yǔ)是設(shè)置輸出格式的最新方法。在這種情況下，這有點(diǎn)多余，但我很高興看到學(xué)生嘗試這種方法。我對(duì)這段代碼的抱怨是沒(méi)有提示用戶輸入，因此在視頻中有短暫的延遲。值得慶幸的是，PC 沒(méi)有復(fù)制此問(wèn)題。
在 PC 上，DeepSeek 生成了這段代碼。
username = input(“Enter your name: “)
for _ in range(100):
print(f”Hello, {username}!”)
用戶輸入被捕獲并保存到變量中，我們有一個(gè)輸入提示供用戶響應(yīng)。其余部分與 Raspberry Pi 5 上的相同，只是多了一個(gè) “！” 來(lái)強(qiáng)調(diào)問(wèn)候語(yǔ)。
（圖片來(lái)源：Tom's Hardware）
你不能錯(cuò)過(guò) PC 和 Pi 5 之間的時(shí)差。所有這些都是離線的，依賴于運(yùn)行它的設(shè)備的模型和 CPU/GPU。PC 在 16 秒內(nèi)完成了所有作，但 Pi 5 只用了 8 分鐘！哎呀，PC 是在 Pi 5 仍在加載模型時(shí)完成的。但是，在 Raspberry Pi 5 上運(yùn)行 LLM 是一個(gè)有趣的實(shí)驗(yàn)，值得花一點(diǎn)時(shí)間，所以讓我們?cè)?Raspberry Pi 5 8GB 上安裝一個(gè)。請(qǐng)注意，Raspberry Pi 5 8GB 確實(shí)是我們嘗試的最低規(guī)格的 Pi 5。您可以嘗試使用經(jīng)過(guò)調(diào)整型號(hào)的 4GB Pi 5，但您的里程會(huì)有所不同！
通過(guò) ollama 在 Raspberry Pi 5 上設(shè)置 DeepSeek
為了簡(jiǎn)化作，我們將通過(guò) ollama 設(shè)置 DeepSeek，這是一個(gè)免費(fèi)的開源工具，任何人都可以在自己的計(jì)算機(jī)上運(yùn)行大型語(yǔ)言模型 （LLM）。
我們將使用的模型是蒸餾的 Llama 模型，它適合我們的 Raspberry Pi 8 提供的 5GB RAM。
ollama 團(tuán)隊(duì)表示，“DeepSeek 團(tuán)隊(duì)已經(jīng)證明，較大模型的推理模式可以提煉成更小的模型，與通過(guò) RL 在小型模型上發(fā)現(xiàn)的推理模式相比，性能更好。為什么我們用這個(gè)模型而不是“真正的”DeepSeek 模型呢？?jī)H僅因?yàn)?deepseek-r1：671b 模型的大小為 404GB，它顯然會(huì)壓倒 Raspberry Pi 5。
借助 ollama 的腳本，在 Raspberry Pi 上安裝變得輕而易舉。
1. 打開終端并確保您的 Raspberry Pi 5 正在運(yùn)行最新的軟件。
sudo apt update
sudo apt upgrade -y
2. 下載并安裝 ollama 安裝腳本。通常，使用來(lái)自 Internet 的腳本安裝軟件是一個(gè)主要的 No No。我們絕不會(huì)在生產(chǎn)環(huán)境中這樣做。如果您好奇，可以將 install.sh 保存到文件中，并在使用前讀取內(nèi)容。
curl -fsSL https://ollama.com/install.sh | sh
3. 檢查版本號(hào)。我們的版本是 0.5.7，但考慮到 LLM 的快速發(fā)展，您的版本可能會(huì)有所不同。如果您需要記錄任何問(wèn)題或搜索特定指南，了解您安裝的版本號(hào)總是很方便的。
ollama --version
4. 下載并運(yùn)行 DeepSeek-r1：8b。這是一個(gè)蒸餾的 Llama 模型，適合我們的 Raspberry Pi 8 提供的 5GB RAM。
ollama run deepseek-r1:8b
5. 等待下載和安裝完成。這一開始可能需要一些時(shí)間，但后續(xù)加載應(yīng)該要快得多。
6. 用戶界面很簡(jiǎn)單，只需輸入請(qǐng)求/查詢，LLM 就會(huì)解釋和響應(yīng)。慢慢。
7. 完成后，您可以按 CTRL + D 或鍵入 /bye 并按 Enter 鍵關(guān)閉會(huì)話。
Raspberry Pi 5 上的 DeepSeek 完全受 CPU 限制。它不能與任何 AI 加速器板一起使用。如果您具備知識(shí)和設(shè)備，可以通過(guò) Raspberry Pi 5 上的 PCIe 連接器將其與 GPU 一起使用。由于缺乏設(shè)備，我們無(wú)法對(duì)此進(jìn)行測(cè)試，但永遠(yuǎn)無(wú)所畏懼的 Jeff Geerling 肯定會(huì)在不久的將來(lái)對(duì)此進(jìn)行測(cè)試。
評(píng)論