最適合: 適用於成本比保證更重要的實驗、批次作業與微調。
Vast.ai 上的請求路徑:邊界設在您自己信任的基礎架構周圍,而非主機。主機屬於第三方,因此敏感資料留在本地,只有加密的非機密資料會外送,並以檢查點讓工作在中斷後得以延續。AI 服務
- 向眾多獨立主機租用 GPU,從消費級顯示卡到資料中心級 H100 皆有。
- 隨選與可中斷(競價)計價;以 Docker 為基礎的執行個體;無伺服器端點。
GPU 與加速器
- GPU 選擇極為多元;可篩選經驗證的資料中心主機以提升可靠度。
代理與身分
- 自動化使用 API 金鑰;請存放在機密管理工具中,切勿放進映像檔。
安全與資料
- 主機屬於第三方:切勿將機密或受監管的資料放在社群主機上。請對靜態與傳輸中的資料加密。
擴展與最佳化
- 將批次工作分散到許多低成本執行個體,並以檢查點因應中斷。
英國與歐盟區域
主機遍布全球;可使用地點篩選條件,但資料所在地不保證。
注意事項
各主機之間的可靠性與安全性參差不齊;設計時需考慮中斷情況,並視資料為可能外洩。
Workstation 如何協助: 我們將具備檢查點、可容忍中斷的工作自動化,並讓敏感資料留在可信任的基礎架構上。
以 Amazon Bedrock 大規模擴展 AI →雲端上適用於 LLM、代理程式與資料的 CI/CD →保護 LLM 與代理程式 API →AI 代理程式 harness →AI 的身分識別與驗證 →
我們合作的其他供應商
標誌為各所有者之商標,僅用於識別各平台,並取自 Wikimedia Commons。圖表由 Workstation 團隊製作。