Ubuntu 重設 root 密碼
如果開機發生硬碟故障或是不可預期的錯誤時,就會需要root密碼進入recovery mode,然而如果當初沒設root密碼或是忘記密碼,就會無法進入介面操作,這個時候就會需要重設root密碼。
NVIDIA DALI 加速資料載入及處理
★ Coming soon ~~
Triton 模型壓力測試
★ Coming soon ~~
Triton 分類推論輸出轉成可讀性類別名稱
分類模型輸出如果要轉成人類可讀性的文字類別,在 Triton Server 端模型庫中添加類別名稱文件即可。
透過 MIG-PARTED 管理 MIG
MIG-PARTED 是能讓管理者方便管理 MIG 的工具,透過 yaml 格式定義多組 MIG 組態,在運行系統時,指定組態即可快速的啟用配置,另外也可透過同一份 yaml 去佈署在所有的節點上。
Triton 後端執行前處理/後處理
通常在影像相關的模型推論,都會對影像做完前處理後才會丟進模型,以及出來做後處理才會存檔或輸出影像。在前幾篇的範例中,我們將前後處理這兩段放在 Client 端處理,Server 端單純做模型推論,此篇將教學如何將前後處理放在 Server 端,並將整個推論流程串起來。
Ubuntu 20.04 IPMI 設定
使用 ipmitool 設定伺服器網路管理(IPMI)設定檔。
Clara Imaging - AIAA 介紹與範例
在監督式模型開發階段中,資料標註是體現資料價值的重要步驟,除了需耗費大量人力及時間之外,標註的好壞也會影響模型訓練的準確性,所以加速標註高質量的數據集,是目前各界重視的議題,近幾年來相關工具也陸陸續續的出現。
CLARA SDK 介紹
由於少子化、高齡化、醫護人力不足及照護人力需求大增等問題,智慧醫療的相關課題相繼的被各國所重視,如何有效的導入資通訊技術及系統,來提升醫療效率與醫療服務品質,是目前關鍵的議題。
Ubuntu 20.04 網路綁定
使用 bonding 模組,將多個網路線綁定。
Ubuntu 20.04 網路設定
使用 netplan 設定 Ubuntu 網路。
Ubuntu 20.04 NVME SSD 開機失敗
部分型號的 NVME SSD,如果將系統裝在此硬碟上,會遇到開機失敗的情況。解決方法就是在開機時,重新引導至 NVME 的磁區。
Ubuntu 延長終端機連線自動退出時間
在 ssh 終端機介面,如一段時間未操作,則連線會自動退出,如不想中斷或想延長中斷時間,可在環境變數中設定。
NVIDIA GPU 開啟持久化模式
每當一個或多個客戶端打開設備文件時,GPU狀態就會保持加載在驅動程序中。一旦所有客戶端都關閉了設備文件,除非啟用了持久化模式,否則GPU狀態將被卸載。
Multi-Instance GPU (MIG) 設定
Multi-Instance GPU(MIG)功能使 NVIDIA A100 GPU 可以安全地切割為多達七個用於 CUDA 應用的獨立 GPU 實例,從而為多個用戶提供獨立的 GPU 資源,以優化 GPU 的利用率。
Ubuntu 20.04 建置 Kubernetes (支援 GPU)
Kubernetes(K8s)是一個開源系統,用於自動化容器應用程序的部署,擴展和管理。
Ubuntu 18.04 Proxy 設定
設定 proxy
Triton Inference Server 介紹與範例
隨著深度學習技術快速的成長,在應用環境中部署和運行 AI 模型的需求也與日俱增。然而開發一個推論解決方案來部署這些模型是一項艱鉅的任務,延遲、吞吐量、支援多個 AI 框架、並行多個模型、GPU 最佳化 ... 等因素,皆是要考慮到的重點,因此如何進行快速部署及管理成為一件複雜卻必須做的事情。
Ubuntu 18.04 安裝 Anaconda3
在 Ubuntu 18.04 上安裝 Anaconda3
Ubuntu 18.04 設定 DNS
在 Ubuntu 16.04 以上的作業系統,有時候會發生 DNS 跑掉的情況,而從`/etc/resolv.conf`更改後,雖可以正常使用,但重開機後又回跳回原本的設定,原因是因為此檔案會被 `systemd-resolvd`自動修改,所以本篇將介紹兩種正確的設定 DNS 的方式。