[Ollama Docker Open-webUI] ChatGPT 윈도우 로컬PC에서 돌려보기

노트북 또는 서버에 AI 모델을 다운받아서 Docker와 Open-webUI를 이용하여 로컬 ChatGPT 창을 만들어봄

- Ollama Linux 설치 버젼도 있으므로 Linux 서버에서 가능함

 

Ollama 설치 (AI모델 다운로드)

 

https://ollama.com/download

Download Ollama on macOS

 

• Ollama pc에서 동작 확인

 

• Ollama Model 다운로드 및 설치 (2개의 모델을 PC에 다운 받는다 , gemma, llama3

C:\Users\shim>ollama pull gemma:7b-instruct

C:\Users\shim>ollama pullllama3:instruct

C:\Users\shim>ollama list
NAME                    ID              SIZE    MODIFIED
gemma:7b-instruct       a72c7f4d0a15    5.0 GB  34 hours ago
llama3:instruct         a6990ed6be41    4.7 GB  About an hour ago

 

 

 

• Ollama 에서 다운가능한 모델 

https://www.ollama.com/library

library

 

• huggingface 또는 Open Ko-LLM 다운받을수 있는 방법 (찾는중)

https://huggingface.co/

Hugging Face – The AI community building the future.

 

https://huggingface.co/spaces/upstage/open-ko-llm-leaderboard

Open Ko-LLM Leaderboard - a Hugging Face Space by upstage

 

 

Docker-Desktop 설치 

 

https://docs.docker.com/get-docker/

Get Docker

 

• Docker 및 Open-WebUI 실행

C:\Users\shim>docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

Unable to find image 'ghcr.io/open-webui/open-webui:main' locally
main: Pulling from open-webui/open-webui
b0a0cf830b12: Pull complete
72914424168c: Pull complete
..
..
..
ee142353b3f4: Pull complete
b1db2e5d884d: Pull complete
Digest: sha256:ab62ecc09c2f9a64f7bcdfd585d9cb25c38f4b430639e1fb03fe6155cfd02e43
Status: Downloaded newer image for ghcr.io/open-webui/open-webui:main
64aa1109f6cd8212f64521134a732b5a30ff8d6a4c69c7f4855a8cf7ca201cf0

 

• Docker Desktop에 접속하여 실행된 Docker 클릭 (Containers)
• Containers 그룹에 Open-webui 가 떠 있음 (port 3000:8080)을 클릭하여 웹접속

 

• Open-WebUI 접속화면 및 회원가입 (회원가입 저장데이터는 PC에만 저장됨)
• localhost:3000/auth

• 로그인후 환경, 공지 화면

 

• 왼쪽 Select a Model 에서 다운받은 2개의 모델 번갈아 가며 테스트 (gemma, llama3)

• Open-webUI 설정화면

 

• gemma 모델 테스트 

• llama3 모델 테스트 

• llama3 모델 (한글로 번역, 설명)