透過專門的硬體加速器，例如GPU（圖形處理單元）或TPU（張量處理單元），來增強人工智慧（AI）和機器學習（ML）處理任務的效能。
相較於傳統的CPU，這些專門的硬體加速器能更有效地處理、訓練和推斷過程的運算需求，從而縮短執行時間和改善AI和ML演算法的整體效能。硬體加速能夠實現更快的模型訓練與推斷，以及展現處理更大、更複雜資料集的能力，進一步推動AI和ML在各產業或領域的應用能力。
挑戰與需求
• 頻寬瓶頸：AI/ML工作負載硬體加速通常需要高頻寬記憶體，才能處理大數據運算。為了配合現代加速器的運算能力，需要更高頻寬的記憶體架構。這可能包括創新的DRAM設計，例如更寬的記憶體匯流排、更快的記憶體介面，或者是集成高頻寬記憶體（HBM）技術等。
• 降低延遲：對於AI/ML工作負載而言，從記憶體中訪問資料所需的時間尤其重要，特別是自動駕駛車或自然語言處理系統的即時應用。這些應用需要低延遲的解決方案，以應對AI/ML工作負載硬體加速的快速運算。
• 可擴展性和容量：隨著AI/ML模型的複雜性和大小不斷增長，對記憶體容量和可擴展性的需求也相對應增加。記憶體解決方案需要能夠擴展，以滿足AI/ML工作負載不斷增長的需求，同時維持成本效益。這需要記憶體技術的創新來增加記憶體密度，以及記憶體互連和系統架構方面的進步，以實現無縫擴展能力，橫跨多個加速器和儲存設備。
SMART Modular世邁科技解決方案
• SMART Modular CXL AIC提供了加速器、CPU和記憶體子系統之間的高速連接，充分利用了CXL接口的高頻寬能力。使用SMART CXL AIC可以確保AI/ML工作負載硬體加速能夠獲得足夠的記憶體資源，以有效地處理大型數據集和複雜模型。
• CXL AIC可以幫助減少AI/ML工作負載硬體加速的延遲，將高速儲存解決方案直接集成到記憶體層級中。企業可以利用CXL接口的低延遲連接性，將SMART的CXL AIC連接到高效能Flash儲存裝置，如NVMe SSD或持續性記憶體模組 (persistent memory)。如此一來可以讓資料以最小延遲的方式進行儲存和訪問，減少移動資料對整體系統效能的影響，並加速AI/ML工作負載。
• 企業可以將SMART的CXL AIC加入到現有的系統中，動態擴展系統運算和儲存基礎設施，以滿足AI/ML工作負載不斷變化的需求。此外，CXL AIC在部署方面提供了高度靈活性，支援各種伺服器架構和配置，以應對不同工作負荷需求。
