LLM: ubuntu 24.04 ollama instalasi CUDA - Revision history

Unknown user at 02:23, 21 September 2025

2025-09-21T02:23:36Z

← Older revision		Revision as of 02:23, 21 September 2025
Line 1:		Line 1:
	Dari: Sanaya Almatin		Dari: Sanaya Almatin

			Lakukan [[nvidia: ubuntu 24.04]]


	Perintah instalasi CUDA core versi 12.8 pada ubuntu versi 24.04:		Perintah instalasi CUDA core versi 12.8 pada ubuntu versi 24.04:

Unknown user at 22:32, 24 April 2025

2025-04-24T22:32:33Z

← Older revision		Revision as of 22:32, 24 April 2025
Line 1:		Line 1:
			Dari: Sanaya Almatin

	Perintah instalasi CUDA core versi 12.8 pada ubuntu versi 24.04:		Perintah instalasi CUDA core versi 12.8 pada ubuntu versi 24.04:

Unknown user at 22:31, 24 April 2025

2025-04-24T22:31:56Z

← Older revision		Revision as of 22:31, 24 April 2025
Line 1:		Line 1:
	Perintah instalasi CUDA core versi 12.8 pada ubuntu versi 24.04:		Perintah instalasi CUDA core versi 12.8 pada ubuntu versi 24.04:
	sudo docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda
			sudo docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda

	Isi tambahan docker-compose agar dapat memanfaatkan GPU:		Isi tambahan docker-compose agar dapat memanfaatkan GPU:
Line 21:		Line 22:

	Untuk mengetahui apakah model sudah berhasil memanfaatkan GPU:		Untuk mengetahui apakah model sudah berhasil memanfaatkan GPU:
	sudo docker exec -it ollama nvidia-smi
			sudo docker exec -it ollama nvidia-smi

			[[File:Nvidia-smi.jpg\|center\|600px\|thumb]]


	Sumber Informasi:		Sumber Informasi:

Unknown user: Created page with "Perintah instalasi CUDA core versi 12.8 pada ubuntu versi 24.04: sudo docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/bac..."

2025-04-24T22:30:14Z

Created page with "Perintah instalasi CUDA core versi 12.8 pada ubuntu versi 24.04: sudo docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/bac..."

New page

Perintah instalasi CUDA core versi 12.8 pada ubuntu versi 24.04:
sudo docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda

Isi tambahan docker-compose agar dapat memanfaatkan GPU:
ollama:
container_name: ollama
image: ollama/ollama:latest
runtime: nvidia
environment:
- NVIDIA_VISIBLE_DEVICES=all
- NVIDIA_DRIVER_CAPABILITIES=compute,utility
- CUDA_VISIBLE_DEVICES=0
- LOG_LEVEL=debug
deploy:
resources:
reservations:
devices:
- driver: nvidia
capabilities: [gpu]
count: all

Untuk mengetahui apakah model sudah berhasil memanfaatkan GPU:
sudo docker exec -it ollama nvidia-smi

Sumber Informasi:
1. https://github.com/open-webui/open-webui
2. https://developer.nvidia.com/cuda-downloads

Catatan tambahan:
Aktivasi CUDA core nvidia untuk akselerasi AI hanya bisa dilakukan pada arsitektur nvidia AMPERE (3000 series) ke atas seperti Ada Lovelace (4000 series) dan Blackwell (5000 series).

Kemudian saya juga menyertakan gambar jika memang model AI telah berhasil terhubung dengan GPU dan berhasil memanfaatkan CUDA Core-nya untuk akselerasi dalam hal membuat jawaban.

Kiranya itu saja yang dapat saya sampaikan melalui pesan ini, terimakasih atas waktu dan kesempatan yang telah diberikan Prof.