NVIDIA以TensorRT-LLM模型提高H100 GPU上的大型自然語言模型推論能力加快人工智慧應用服務執行效率 09-11-2023 愛比價相關商品 : 能力 模型 針對目前多數業者採用的大型自然語言模型應用需求，NVIDIA宣布以開源架構設計的TensorRT-LLM模型，強化H100 GPU在大型自然語言模型的推論能力。 此項開源架構設計的TensorRT-LLM模型將在未來幾周內提供，本身以TensorRT深度學習框架組成，包括經最佳化調整的內核、前處理及後處理步驟，加上多組GPU、多節點通訊基礎，可在NVIDIA GP… Share Tweet +1Shares 0
針對目前多數業者採用的大型自然語言模型應用需求，NVIDIA宣布以開源架構設計的TensorRT-LLM模型，強化H100 GPU在大型自然語言模型的推論能力。 此項開源架構設計的TensorRT-LLM模型將在未來幾周內提供，本身以TensorRT深度學習框架組成，包括經最佳化調整的內核、前處理及後處理步驟，加上多組GPU、多節點通訊基礎，可在NVIDIA GP…