4月21日官方發(fā)布,PyTorch用戶可以使用TorchServe(PyTorch生態(tài)新的模型服務(wù)框架)來大規(guī)模部署經(jīng)過訓練的模型,而無需編寫自定義代碼。
PyTorch是最初由Facebook創(chuàng)建的開源機器學習框架,由于其易用性在機器學習研究人員和數(shù)據(jù)科學家中廣受歡迎。
但是,在生產(chǎn)中部署和管理模型通常是機器學習過程中最困難的部分,需要客戶編寫預測API并對它們進行擴展,而谷歌的 Tensorflow 工業(yè)化程度更高。TorchServe 的發(fā)布開始打破 Pytorch 的被動局面。
通過TorchServe,可以輕松地在生產(chǎn)環(huán)境中大規(guī)模部署PyTorch模型。它以低延遲提供輕量級服務(wù),因此您可以部署模型以進行高性能推理。它為最常見的應(yīng)用程序提供了默認處理程序,例如目標檢測和文本分類,因此您不必編寫自定義代碼即可部署模型。借助強大的TorchServe功能,包括多模型服務(wù),用于A / B測試的模型版本控制,用于監(jiān)視的指標以及用于應(yīng)用程序集成的RESTful端點,您可以將模型從研究階段快速投入生產(chǎn)。TorchServe支持任何機器學習環(huán)境,包括Amazon SageMaker,Kubernetes,Amazon EKS和Amazon EC2。
TorchServe由AWS與Facebook合作構(gòu)建和維護,是PyTorch開源項目的一部分。相關(guān)的代碼已經(jīng)開放可到GitHub進行下載。