走在汽車革命的路上論文書籍站
國立陽明交通大學 資訊科學與工程研究所 曹孝櫟所指導 林濬維的 透過同步執行在圖形處理器上提供搶佔及有界並行完成時間的深度學習服務系統 （2020），提出PyTorch MPS關鍵因素是什麼，來自於圖形處理器共享、服務系統、深度學習、搶佔多工、並行多工。
透過同步執行在圖形處理器上提供搶佔及有界並行完成時間的深度學習服務系統
為了解決PyTorch MPS 的問題，作者林濬維 這樣論述：
深度學習的發展產生了各種新應用。為了在不違反服務目標的情況下實現高吞吐 量，底層深度學習服務系統將推理請求進行排程，並在圖形處理器等加速器上執行這 些請求。現有的深度學習服務系統使用現成的深度學習框架的運行時間作為黑箱進行 推理。這雖然簡化了實做的複雜度，但是由於缺乏對底層硬體的資訊和控制，對於排 程產生了傷害。它可能導致硬體使用率低下、不可預測的執行時間和過長的優先反轉 時間。為了解決這個問題，我們提出了一種新的深度學習服務系統 AgileInfer。它具有 攔截圖形處理器驅動程式界面呼叫的中間軟體。其排程器可以從中間軟體得到執行的 資訊，並決定在下一個週期在圖形處理器上執行的內容。通過對
圖形處理器的資訊以 及細粒度的控制，AgileInfer 提供了有界的並行執行時間，以達到在不違反服務標準的 情況下達到更高的吞吐量。此外，高優先的任務可以在毫秒內搶佔低優先的任務。我 們的實驗顯示，與最先進的深度學習服務系統相比，AgileInfer 將高優先任務的延遲降 低了六倍，並將最大吞吐量增加了百分之十。