Docker에 nvidia 권한 주기 (feat. Unable to locate package nvidia-container-toolkit)

 아니 왜 비싼거 줘도 싫다는건데;;

아궁.. 왜 또 조랄일깡..

오픈클로 만지작 대느라 GPU 서버의 Docker에서 GPU 인식을 못했다

Docker에서 GPU 갖다 쓸 수 있게 해보자

---

1. 에러 원인

- GPU 서버에서 Docker로 LLM 띄우려니 에러발생

- 확인해보니 Toolkit이 없단다

---

2. NVIDIA Container Toolkit 리포 추가 + 설치

- 아래 명령어 냅다 실행하자

- 기본적으로 필요한 것들을 설치해준 뒤, Nvidia 관련 repo를 등록해서 toolkit을 설치하는 명령어이다

(초반엔 냅다 sudo apt install nvidia-container-toolkit 했는데 안되더라...)

# 0) 기본 도구
sudo apt update
sudo apt install curl ca-certificates gnupg -y

# 1) GPG 키 등록 (keyring)
sudo mkdir -p /usr/share/keyrings
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey \
  | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg

# 2) NVIDIA repo 등록 (stable)
curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list \
  | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' \
  | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

# 3) 설치
sudo apt update
sudo apt install nvidia-container-toolkit -y

---

3. Docker에 NVIDIA runtime 연결 + 재시작

- 이거 안하니까 Docker에서 --gpus all 이 동작 안하더라;;

sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

---

4. 동작 테스트

- 아래는 nvidia-smi가 컨테이너 내부에서 잘되는지 냅다 띄워보는 명령어이다

- nvidia-smi는 현재 서버에 달려있는 nvidia GPU 확인하는 명령어라서 여기에서 잘 뜨면 인식이 잘 된 것!

(좀 더 정확히는 ' NVIDIA 드라이버가 GPU와 통신해서 상태를 보여주는 명령어'이다)

docker run --rm --gpus all nvidia/cuda:12.4.1-base-ubuntu22.04 nvidia-smi

- 잘되는 것을 확인!! 휴우...