安裝 TensorRT 的步驟 - leo895tw/- GitHub Wiki

RTX 2080 支持 TensorRT。以下是下載和安裝 TensorRT 的步驟： TensorRT 的最新版本是 TensorRT 8，支持各種 GPU，包括你的 RTX 2080。安裝 TensorRT 的具體步驟如下：

  1. 下載 TensorRT 8 前往 NVIDIA 開發者網站 打開 TensorRT 下載頁面 登入或註冊你的 NVIDIA 開發者帳戶。 選擇合適的 TensorRT 版本 在下載頁面上，選擇你的操作系統（例如 Windows、Linux）。 選擇與你的 CUDA 版本兼容的 TensorRT 版本（例如 CUDA 11.4）。 點擊下載相應的壓縮包。
  2. 安裝 TensorRT 8 Windows 安裝步驟 解壓縮 TensorRT 壓縮包：

將下載的壓縮包解壓縮到你的目錄中，例如 C:\TensorRT-8.x.x.x。 設置環境變量：

打開“系統屬性”窗口（右鍵點擊“此電腦”，選擇“屬性”）。 點擊“高級系統設置”。 在“高級”標籤下，點擊“環境變量”。 在“系統變量”部分，找到 Path 變量並點擊“編輯”。 添加以下路徑到 Path 變量中： plaintext 複製程式碼 C:\TensorRT-8.x.x.x\lib C:\TensorRT-8.x.x.x\bin

下載 TensorRT 前往 NVIDIA 開發者網站： TensorRT 下載頁面

登入或註冊帳戶： 如果你還沒有 NVIDIA 開發者帳戶，需先註冊帳戶並登入。

選擇合適的 TensorRT 版本： 在下載頁面上選擇與你的操作系統和 CUDA 版本相匹配的 TensorRT 版本。確保選擇與你的 CUDA 驅動版本兼容的 TensorRT 版本。例如，如果你使用的是 CUDA 11.x，則選擇對應的 TensorRT 版本。

安裝 TensorRT 下載後，按照以下步驟進行安裝：

Windows 上的安裝步驟： 解壓縮 TensorRT 壓縮包： 將下載的壓縮包解壓縮到你希望的目錄中。例如，解壓到 C:\TensorRT。

設置環境變量：

打開“系統屬性”窗口（右鍵點擊“此電腦”，選擇“屬性”）。 點擊“高級系統設置”。 在“高級”標籤下，點擊“環境變量”。 在“系統變量”部分，找到 Path 變量並點擊“編輯”。 添加以下路徑到 Path 變量中： plaintext 複製程式碼 C:\TensorRT\lib C:\TensorRT\bin

驗證安裝 確保 TensorRT 庫正確安裝並可被發現。可以通過以下命令檢查：

bash 複製程式碼 ldconfig -p | grep nvinfer 這應該會列出已安裝的 TensorRT 庫。

  1. 驗證安裝 確保 TensorRT 庫正確安裝並可被發現。可以通過以下命令檢查：

bash 複製程式碼 ldconfig -p | grep nvinfer 這應該會列出已安裝的 TensorRT 庫。

  1. 更新 Python 環境 如果你在使用 Python 環境，確保你的 onnxruntime 和 tensorflow 等庫是最新版本，並且支持 TensorRT：

bash 複製程式碼 pip install onnxruntime-gpu tensorflow-gpu --upgrade 5. 配置 TensorRT 在你的 Python 代碼中，確認 TensorRT 設置如下：

python 複製程式碼 import onnxruntime as ort

providers = [ ('TensorrtExecutionProvider', { 'trt_engine_cache_enable': True, 'trt_engine_cache_path': 'tensorrt-engines', 'trt_timing_cache_enable': True, 'trt_timing_cache_path': 'tensorrt-engines', 'trt_dump_ep_context_model': True, 'trt_ep_context_file_path': 'tensorrt-engines' }), 'CUDAExecutionProvider', 'CPUExecutionProvider' ]

session = ort.InferenceSession('model.onnx', providers=providers)