IBM + @RedHat 剛剛推出了 Red Hat AI 推理 + OpenShift 虛擬化正式版在 @IBMcloud 上
對企業來說是巨大的進步。
高性能、受管控的大型語言模型服務 + 能夠在 OpenShift 上同時運行虛擬機和容器。真正的混合雲現代化 + 一站式 AI 平台。
隨著團隊將代理和編碼代理用例推向生產,這突顯出一個仍需彌合的有趣差距:在推理層提供專為開發者設計的守護欄和可驗證的審計。
整體來說是一個強有力的舉措,使自託管推理變得更實用。
好奇看到安全性和可觀察性供應商如何在此基礎上構建。
$DAG $AIAI