GPT4All簡介(一)

GPT4All 應該是目前使用者介面最友善的下載版 GenAI 應用程式，採開放原始碼模式、且可免費使用。程式內已預設多款可直接下載使用的大型語言模型(LLM)，也可匯入資料或文件，在自己的電腦上建構 RAG (Retrieval-Augmented Generation)系統，即使沒有網路也可以執行。本文將簡介 GPT4All 的下載及安裝，以及 LLM 的下載說明。

下載及安裝GPT4All

GPT4All 支援 Windows、macOS、Linux (Ubuntu)，也內建繁體中文介面，使用者可以依照自己電腦的作業系統下載相應的版本：

• macOS：下載的檔案是「.dmg」副檔名的檔案，雙擊之後桌面會出現「gpt4all-installer-darwin」名稱的磁碟機圖示；雙擊該磁碟機圖示後，會打開存有「gpt4all-installer-darwin.app」的資料夾，雙擊「.app」結尾的圖示，就會開始安裝流程，接著依照軟體畫面指示操作，就可以完成安裝。
• Windows：下載時應注意，Windows 有 Intel 和 ARM 二種不同版本，下載前應先確定自己的作業系統版本。二種版本都是「.exe」檔案，下載後直接執行該檔案，就會開始安裝流程，接著依照軟體畫面指示操作，就可以完成安裝。
• Linux (Ubutu)：下載檔案為「gpt4all-installer-linux.run」，Ubuntu系統的「.run」檔案安裝方式，請參閱 Ubuntu 說明。

完成安裝後，第一次執行時會出現「匿名使用統計暨資料湖泊計畫」的畫面：

這二個選項都可以依照自己的意願，選擇「是」或「否」；如果不打算回傳軟體使用情形的分析資料和聊天記錄，可以選擇「否」。接著就會出現 GPT4All 首頁(Home)：

下載 LLM 模型：

完成 GPT4All 安裝後，必須先下載大型語言模型(LLM)，才能在本機電腦執行。先按一下軟體首頁上的「搜尋模型」(Find Models)：

下方的窗格就會列出可以直接下載使用的 LLM 模型列表：

在「探索模型」下方，有三個標籤：「GPT4All」、「Remote Providers」、「Hugging Face」：

這是下載或連接大型語言模型的三種不同選項，分別說明如下：

(1)「GPT4All」：

這是預設選項，列表中的大型語言模型都可以直接下載(按一下「下載」按鈕即可)，而且都已事先完成相關設置、可以在 GPT4All 中執行。如果是剛接觸 LLM 模型或 RAG，可以先從清單中挑選檔案較小的模型，下載所需時間較短、執行速度也比較快，熟悉相關操作方式之後，再試用其他規格較大的模型。

列表中的每一個模型，都附有類似下圖的簡單規格說明：

• 「檔案大小」：這是該模型的檔案大小，讓使用者可以評估自己電腦的儲存空間是否足夠。

• 「所需的記憶體」：這是為執行該模型所需要的記憶體容量，供使用者評估自己的電腦規格是否適合執行該模型。

• 「參數」（parameters）：這是該語言模型的參數量，這裡的8 billion 就是80億個參數，若是4 billion就是40億個參數，以此類推。理論上，參數越大能力越強，但執行時的硬體規格要求也越高。

• 「量化」(quantization)：這是量化壓縮原始大型語言模型的方法，目的是降低大型語言模型的數值精確度，以提高執行效率、降低硬體要求。目前GPT4All 預設可以直接下載的模型都是 q4_0。

• 「類型」：這是該模型所依據的原始大型語言模型。

(2) 「Remote Provider」：

這個選項是透過 API 連接外部雲端系統，方便使用者連接 OpenAI 或Mistral 等大型語言模型。使用者若想切換使用外部雲端上的大型語言模型，例如 Grok、OpenAI、Mistral、或其他雲端系統，只要在這個介面中的相應欄位中填入 API Key 等相關資訊、按「安裝」(Install)，GPT4All 就會自動完成與該雲端 AI 系統的連接，相當方便。

(3) 「Hugging Face」：

Hugging Face 是網路上最大的 GenAI 社群平台，目前在 Hugging Face 上所發布的模型已經超過150萬個。GPT4All 也支援搜尋、下載發布在 Hugging Face 平台的模型。應注意的是：直接從 Hugging Face 下載的模型，無法確定是否可以在 GPT4All 中順利執行，而且使用者從網路下載模型時，也應謹慎留意該模型的來源和評價；但如果是可信賴的來源，還是可以下載試用，因為 Hugging Face 上所發布的模型，有相當數量是針對特定領域需求而完成調校的模型，例如為了英文以外的特定語言而再次訓練過的模型。

管理已下載的模型

如果按首頁左方側邊欄的「模型」(Models)：

會列出目前已經下載到本機電腦的模型：

如果不打算繼續使用已經下載的特定模型，可以按一下該模型右方的「移除」(remove)，就可以從電腦上刪除該模型的檔案，以節省電腦儲存空間。如果要再新增模型，可以按一下右上角的「＋新增模型」(Add Model)，就會進入前文所提到的「探索模型」和模型列表，可以從清單中挑選新的模型。

如果還沒有任何已下載的模型，則顯示「沒有已安裝的模型」，只要按一下「＋新增模型」(Add Model)，就會進入前文所提到的「探索模型」和模型列表，可以從清單中挑選新的模型：

開始使用

LLM 模型下載完成後，點擊左方側邊欄的「交談」(Chat)：

會出現以下的聊天介面：

點擊中央的綠色按鈕，會載入已下載的大型語言模型。

如果之前已經下載過二個以上的大型語言模型，可以點一下畫面上方的「選擇一個模型……」，會出現已下載的大型語言模型選單，就可以從選單中選擇要載入的大型語言模型：

大型語言模型載入完成後，就可以開始提問、開始和本機電腦的聊天機器人(chatbot)互動：

至於如何匯入資料或文件以使用本機端 RAG 功能、以及 GPT4All 的相關設定等，留待下一篇「GPT4All簡介(二)」說明。