Link Search Menu Expand Document
AIEE

AnythingLLM Chat

Table of contents

背景

  • AnythingLLM被稱為是使用者所需最後一個終極聊天機器人，具有開放性、可規模化、雲端地端整合性、大型LLM與小型嵌入引擎的整合、會員制與廣播制聊天機器人的整合、開放性生成與封閉性資料庫查詢的整合、靜態檔案連結與動態RAG的整合等等特色。
  • AnythingLLM的服務介面林林總總，此處以最常用的對話介面為範圍主題進行說明。
    • 其他如AI小幫手，雖然也有對話功能，但介面附加在其他網頁之內，且沒有帳密管理，服務功能也略有不足。
    • 除了系統本身UI之外，Anything LLM也提供了API批次呼叫的方式，進行更高階自動化的操作。
  • AnythingLLM概念說明：可以詳見其官網。
  • 官網使用說明文件

系統的必要性

  • 市面上已有免費的資源(openAI、Anthropic、microsoft Bingchat、Google Gemini等等系統)，為何還需要使用公司資源？
  1. 無限制的檔案連結與解析
  2. 共用GPTs、共用API資源
  3. 機敏資料使用地端GPT分析
  4. 提供低廉、高品質的GPT練習機會

使用者權限

適應新的系統必須要先建立權責觀念、建立明確、良好的分際。

  • AnythingLLM的使用者有3種角色。角色並不能新創或刪減。
  • 內設(一般)使用者
    • 只能發送與管理員或經理新增到的工作區的聊天。
    • 可以新增工作區內的主題(thread)，但不能連結到檔案、網頁、GH倉庫、影音或其他資料
    • 無法修改系統任何設定。
  • 經理(與檔案有關)
    • 可以查看、建立和刪除任何工作區以及修改工作區特定的設定。
    • 可以建立檔案連結、創建目錄進行檔案管理。
    • 可以建立、更新和邀請新使用者加入工作區。
  • 管理者(與錢有關)
    • 最高使用者等級權限。可以查看並執行整個系統中的所有操作。
    • 新增使用者、帳密、權限管理
    • 修改LLM、vectorDB、嵌入或其他連線與API token等設定。

固定之入口網站

GPTs統一入口界面程式

登入

  • AnythingLLM目前沒有提供其他登入方式(如AD/LDAP等)的選項，只有其內部管理者設定的帳密權限管理。
  • 網址說明
    • 格式：http://主機.網域:端口
    • 主機：eng06
    • 網域：sinotech-eng.com
    • 端口為4位數，自3001~3014，各技術組有自己的端口，分配詳見對應關係表。
  • 權限角色：都使用相同界面登入，並無差別。
  • 帳號設計
  • 初設密碼：
    • 員編重複2次
    • AnythingLLM要求密碼至少需8碼
  • 畫面

  1. 登入使用者。如不登出，本地網頁瀏覽器會記錄帳密。
  2. 登入密碼。至少8碼
  3. 登入(下次瀏覽器連線後，會自動登入)

畫面分區

  • 一如其他chatbot的習慣，AnythingLLM的主畫面切分為2大部分，左側邊條除了設定(板手符號，只有管理者看得到)及說明外，就是工作區(workspace, LLM、經理級以上可以新增)及其目錄下的主題(thread、所有人都可新增)
  • 中間部分為對話區
    • 最下一行為使用者提問區，按下enter或紙飛機icon，則可輸入提問。
    • GPT回覆內容，如果沒有特別指定，一般對話紀錄為20筆。筆數需視選取的LLM而異，如果允許Token數較少，紀錄太多會妨礙其記憶體使用。
    • 輸入/輸出語言：視LLM而異，
  • 右側個人區
    • 可修改頭像、變更密碼、登出
    • 如不登出，瀏覽器將會記憶帳密，下次點選網址不需再登入。
    • 如有安全顧慮(經理以上)，要記得每次使用完隨即登出

個人區與密碼管理

  • 由於外部LLM的API是需要收費的，因此經理級以上人員是有相應的管理責任，登入後強烈建議更改密碼。
  • 點選右上角的頭像，可以進入個人區進行修改。
  • 密碼只有最低長度的限制，其餘並無要求。
  • 目前沒有提供忘記密碼的自動化補救措施，管理者與經理都有權限可以修改任密碼，可洽其中任何一位。

切換/新增對話主題

  • 在工作區下，任何人可以切換或新增對話主題(thread)，圍繞著特定文件檔案、或特定網頁。
  • 不同使用者之間彼此看不到他人的對話紀錄，但
  • 經理級以上人員可以看得到暫存區的檔案目錄及名稱(上載icon)，也可以選擇其他人上傳的檔案作為主題連結的對象。

  • 新增主題名稱一律為”New Thread”。
  • 新增主題後，可以在其右側...位置更名或刪除。
  • 刪除後對話紀錄將會消失，使用者應自行儲存管理。

  • 新增主題後，經理層級以上會出現主題要連結的檔案(或連結)，
    • 這個連結只會出現在這裡，點入連結後會另開新的畫面。
    • 主題對話過程中，可以按工作區名稱右側的上載符號新增或改變。

  • 如果語言模型出現“幻覺”回應、建議新增主題來更新記憶體。

檔案、網頁與資料的連結

  1. 既有檔案的連結
    • 過去所有使用者開啟的檔案，點選後，會出現使用的按鍵，需要按下「儲存至工作區」、或向右箭頭後，將其移到右側、按下儲存與嵌入（save and Embed），才會被GPT用以強化文本的產生(RAG)
    • 如果大型檔案，建議加註工作區名稱，讓其他使用者知道可以切換到該工作區，直接使用既有RAG解讀結果，避免重複上傳、解讀。
    • 一旦檔案被LLM讀取、機敏資料即上傳外流，外部API就會開始計費，因此儲存與嵌入需小心點擊。
  2. 新增檔案：可以點擊開啟檔案、或拖拉放在虛線位置，
  3. 網頁
    • 可以接受內部或外部的網址
    • 按下取回(fetch)後，可以將將其內容下載至系統資料庫中。
  4. 開新目錄：如果檔案太多，不便連結，可以建立新資料夾。資料夾批次上載比較容易成功。
  5. 除了檔案網頁外，也可以連結其他類資料，點選分頁後可進入另一畫面

GH倉庫及影音檔案之連結

  • AnythingLLM可以連結到私人的GitHub倉庫，此處輸入倉庫的網址以及通關密鑰。
  • YouTube影音檔案的逐字稿(transcription)

引述來源

  • 如果對話引用到檔案、網頁或資料，系統可以顯示引述的來源
  • 點選Show Citation > 顯示連結的內容(檔名)
  • 點選連結：進入檔案文本、系統會出現符合度指標。

特殊對話功能

  • @與/這2個特殊字元分別會開啟及關閉特殊代理功能，@agent開啟、一次開啟所有功能，/exit或/reset則會結束功能，也是一次全部結束。
  • 按下畫面中@位置，會顯示工作區可以使用的所有特殊功能。GPT會用自然語言方式讓功能作用，不必自行切換。點擊功能列表，出現@agent後按下enter，隨即啟動特殊功能。

  • 運作範例
    • 啟動畫面

  • 最新消息：需要指引到特定的網站，搜尋該網的最新消息。

  • 網頁內容的爬取、挖掘

工作區的建立與管理

API金鑰的管理