Table of Contents nvidia overview i/o optimization nvidia-rtx-5090 cuda blocking vs non-blocking i/o basics cuda on wsl-2

nvidia

overview

nvidia-developer (cuda-docs), nvidia-research-papers
- cuda-programming-guide

i/o optimization

gpudirect-storage: nvme-ssd<->gpu without cpu intervention
how-to-overlap-data-transfer
flash-attention

nvidia-rtx-5090

hp-omen-max-45L system
- ryzen 9 9950x3d (max 5.7ghz boost clock, 16 core, 32 threads, 128mb l3-cache (2nd-gen v-cache))
- kingston-fury 128gb (32gb x 4): ddr5-5200m5/s expo udimm rgb
- geforce rtx 5090 gddr7 32gb - up to 3352 tops (hp oem)
- gen4 pcie 4.0 tlc m.2 nvme ssd 4tb
- b850 chipset
- 1200w gold 80 modular power supply
cores:

코어 종류	정식 명칭	주 역할 (Specialty)	AI/그래픽 활용 예시
GPU 코어	CUDA Cores	범용 연산 (General Purpose)수학적 사칙연산과 논리 연산을 처리하는 기본 단위입니다.	전통적인 3D 그래픽 렌더링, 물리 엔진 계산, 일반 범용 연산
Tensor 코어	Tensor Cores	행렬 연산 가속 (Deep Learning)AI 모델의 핵심인 거대 행렬 곱셈($A \times B + C$)을 초고속으로 처리합니다.	LLM(Llama 3.1) 추론, 이미지 업스케일링(DLSS), 학습(Fine-tuning)
RT 코어	Ray Tracing Cores	빛 추적 가속 (Visual Realism)빛의 반사, 굴절, 그림자 등 광선 추적 알고리즘을 하드웨어로 계산합니다.	게임 내 실시간 반사 효과, 고퀄리티 3D 렌더링 시각화

코어 종류	RTX 4090 (Ada)	RTX 5090 (Blackwell)	증가율 및 특징
CUDA 코어	16,384개	21,760개	약 33% 증가. 범용 연산 능력의 비약적 향상
Tensor 코어	512개	680개 (5세대)	개수 증가와 더불어 FP4 가속 지원으로 AI 성능은 2배 이상 체감
RT 코어	128개	170개 (4세대)	고사양 레이 트레이싱 및 3D 렌더링 효율 극대화
SM 개수	128개	170개	각 코어들을 담고 있는 '작업반' 자체가 늘어남

structure:

계층 (Level)	구성 요소 (Component)	주요 역할 및 역량 (Capability)	비유/특징
Level 1: 시스템 레벨(Graphic Card)	Blackwell 아키텍처	차세대 GPU 설계도로, AI 연산 효율 및 하드웨어 가속 최적화	시스템의 전체 설계도
	32GB GDDR7 VRAM	대규모 AI 모델(Llama 3.1 70B 등)을 적재하는 초고속 메모리 창고	데이터 저장 창고
	PCIe 5.0 x16 인터페이스	메인보드 및 시스템 RAM과 통신하는 외부 연결 통로 (약 64 GB/s)	공장 외부 도로
Level 2: 데이터 전송(Interconnect)	메모리 버스 (512-bit)	GPU 칩과 VRAM을 직접 잇는 전용 인터페이스 기술	전용 고속도로
Level 2: 데이터 전송(Interconnect)	1.79 TB/s 대역폭	VRAM의 데이터를 GPU 코어로 초당 1.79TB 속도로 실어 나름	초고속 컨베이어 벨트
Level 3: GPU 다이 내부(On-Chip Logic)	GPC (Processing Clusters)	GPU 내부의 가장 큰 물리적/논리적 블록 단위	대형 작업 구역
	L2 캐시 (L2 Cache)	VRAM까지 가지 않고 데이터를 즉시 처리하는 칩 중앙의 임시 저장소	코어 옆 간이 보관소
	SM (Multiprocessors)	수만 개의 코어가 집약되어 실제 연산이 일어나는 핵심 단위	핵심 작업반
Level 4: 연산 코어 레벨(Core Unit)	5세대 텐서 코어	AI 행렬 연산을 전용으로 가속하는 장치	AI 전용 숙련공
	Native FP4 지원	4비트 부동소수점 연산을 하드웨어 레벨에서 직접 가속	고속 양자화 처리 능력
	추론 역량 (Capability)	Llama 3.1 70B(양자화) 구동 시 초당 8~15자 이상의 속도 구현	실시간 대화 가능 속도

cuda

blocking vs non-blocking i/o

구분	Blocking (cudaMemcpy)	Non-blocking (cudaMemcpyAsync)
CPU 제어권	전송 완료 후 복귀	명령 전달 후 즉시 복귀
메모리 요구사항	일반 Pageable 메모리 가능	Pinned Memory 필수 (OS 페이징 방지)
병렬성	순차 실행 (I/O 후 연산)	중첩 가능 (I/O와 연산 동시 수행)
구현 난이도	낮음	높음 (Stream 및 동기화 관리 필요)

basics

lspci

$ lspci | grep -i nvidia

nvidia-smi

  $ nvidia-smi

deviceQuery

# 1. 샘플 레포지토리 클론
git clone https://github.com/NVIDIA/cuda-samples.git
cd cuda-samples

# 2. 빌드 (CMake 필요)
mkdir build && cd build
cmake ..
make -j$(nproc)

# 3. 실행 (deviceQuery 위치 예시)
cd Samples/1_Utilities/deviceQuery
./deviceQuery

rtx 5090 results:

./deviceQuery Starting...

 CUDA Device Query (Runtime API) version (CUDART static linking)

Detected 1 CUDA Capable device(s)

Device 0: "NVIDIA GeForce RTX 5090"
  CUDA Driver Version / Runtime Version          13.2 / 13.2
  CUDA Capability Major/Minor version number:    12.0
  Total amount of global memory:                 32111 MBytes (33670758400 bytes)
  (170) Multiprocessors, (128) CUDA Cores/MP:    21760 CUDA Cores
  GPU Max Clock rate:                            2407 MHz (2.41 GHz)
  Memory Clock rate:                             14001 Mhz
  Memory Bus Width:                              512-bit
  L2 Cache Size:                                 100663296 bytes
  Maximum Texture Dimension Size (x,y,z)         1D=(131072), 2D=(131072, 65536), 3D=(16384, 16384, 16384)
  Maximum Layered 1D Texture Size, (num) layers  1D=(32768), 2048 layers
  Maximum Layered 2D Texture Size, (num) layers  2D=(32768, 32768), 2048 layers
  Total amount of constant memory:               65536 bytes
  Total amount of shared memory per block:       49152 bytes
  Total shared memory per multiprocessor:        102400 bytes
  Total number of registers available per block: 65536
  Warp size:                                     32
  Maximum number of threads per multiprocessor:  1536
  Maximum number of threads per block:           1024
  Max dimension size of a thread block (x,y,z): (1024, 1024, 64)
  Max dimension size of a grid size    (x,y,z): (2147483647, 65535, 65535)
  Maximum memory pitch:                          2147483647 bytes
  Texture alignment:                             512 bytes
  Concurrent copy and kernel execution:          Yes with 2 copy engine(s)
  Run time limit on kernels:                     Yes
  Integrated GPU sharing Host Memory:            No
  Support host page-locked memory mapping:       Yes
  Alignment requirement for Surfaces:            Yes
  Device has ECC support:                        Disabled
  Device supports Unified Addressing (UVA):      Yes
  Device supports Managed Memory:                Yes
  Device supports Compute Preemption:            Yes
  Supports Cooperative Kernel Launch:            Yes
  Device PCI Domain ID / Bus ID / location ID:   0 / 1 / 0
  Compute Mode:
     < Default (multiple host threads can use ::cudaSetDevice() with device simultaneously) >

deviceQuery, CUDA Driver = CUDART, CUDA Driver Version = 13.2, CUDA Runtime Version = 13.2, NumDevs = 1
Result = PASS

cuda on wsl-2

download installer for Linux WSL-Ubuntu 2.0 x86_64

wget https://developer.download.nvidia.com/compute/cuda/repos/wsl-ubuntu/x86_64/cuda-wsl-ubuntu.pin
sudo mv cuda-wsl-ubuntu.pin /etc/apt/preferences.d/cuda-repository-pin-600
wget https://developer.download.nvidia.com/compute/cuda/13.2.0/local_installers/cuda-repo-wsl-ubuntu-13-2-local_13.2.0-1_amd64.deb
sudo dpkg -i cuda-repo-wsl-ubuntu-13-2-local_13.2.0-1_amd64.deb
sudo cp /var/cuda-repo-wsl-ubuntu-13-2-local/cuda-*-keyring.gpg /usr/share/keyrings/
sudo apt-get update
sudo apt-get -y install cuda-toolkit-13-2

cuda - modrpc/info GitHub Wiki

Table of Contents

nvidia

overview

i/o optimization

nvidia-rtx-5090

cuda

blocking vs non-blocking i/o

basics

cuda on wsl-2

⚠️ GitHub.com Fallback ⚠️

cuda - modrpc/info GitHub Wiki

Table of Contents

nvidia

overview

i/o optimization

nvidia-rtx-5090

cuda

blocking vs non-blocking i/o

basics

cuda on wsl-2

⚠️ **GitHub.com Fallback** ⚠️

⚠️ GitHub.com Fallback ⚠️