HuggingFace GGUF Download 방법

 

Huggingface-cli 다운로드

 

# pip install huggingface_hub

 

Huggingface GGUF  다운로드 

 

• 다운로드 파일은 https://huggingface.co/heegyu/EEVE-Korean-Instruct-10.8B-v1.0-GGUF  을 타겟으로 함

 

• huggingface-cli 다운로드 명령어

# huggingface-cli download heegyu/EEVE-Korean-Instruct-10.8B-v1.0-GGUF ggml-model-Q5_K_M.gguf --local-dir C:/Users/shim/.cache/lm-studio/models/heegyu --local-dir-use-symlinks False

 

 

다운도르 파일을 ollama list로 생성

 

• 다운받은 gguf 파일이 있는 위치에 Modelfile 생성

# c:\type Modelfile     (linux의 cat 명령과 동일)

FROM ggml-model-Q5_K_M.gguf

TEMPLATE """{{- if .System }}
<s>{{ .System }}</s>
{{- end }}
<s>Human:
{{ .Prompt }}</s>
<s>Assistant:
"""

SYSTEM """A chat between a curious user and an artificial intelligence assistant. The assistant gives helpful, detailed, and polite answers to the user's questions."""

PARAMETER stop <s>
PARAMETER stop </s>

 

• ollama create 로 모델 생성

# 파일경로는 아래와 같은 경우로 예를 들임
C:\Users\shim\.cache\lm-studio\models\heegyu\


# ollama create ggml-model-Q5_K_M -f C:/Users/shim/.cache/lm-studio/models/heegyu/ggml-model-Q5-K-M-gguf/Modelfile
transferring model data
creating model layer
creating template layer
creating system layer
creating parameters layer
creating config layer
using already created layer sha256:b9e3d1ad5e8aa6db09610d4051820f06a5257b7d7f0b06c00630e376abcfa4c1
writing layer sha256:6fe7ed0d1aa9d7d4f3b6397184caf17b9b558739bc00f5abde876ee579fbf51a
writing layer sha256:1fa69e2371b762d1882b0bd98d284f312a36c27add732016e12e52586f98a9f5
writing layer sha256:fc44d47f7d5a1b793ab68b54cdba0102140bd358739e9d78df4abf18432fb3ea
writing layer sha256:6dfba5058d8d9a7829a8f0617f2e10c71fb928f150acfe99ee714384034b1020
writing manifest
success


# ggml-model-Q5-K-M-gguf>ollama list
NAME                            ID              SIZE    MODIFIED
gemma:7b-instruct               a72c7f4d0a15    5.0 GB  5 days ago
ggml-model-Q5_K_M:latest        acb55eed16e7    7.7 GB  2 minutes ago
llama3:instruct                 a6990ed6be41    4.7 GB  4 days ago

 

 

• ollama run 으로 다운받은 AI 모델 질의/응답 테스트

Microsoft Windows [Version 10.0.22631.3527]
(c) Microsoft Corporation. All rights reserved.

C:\Users\shim>ollama list
NAME                            ID              SIZE    MODIFIED
gemma:7b-instruct               a72c7f4d0a15    5.0 GB  5 days ago
ggml-model-Q5_K_M:latest        acb55eed16e7    7.7 GB  43 minutes ago
llama3:instruct                 a6990ed6be41    4.7 GB  4 days ago


C:\Users\shim>ollama run gemma:7b-instruct
>>> 대한민국수도가어딘지한글로알려줘
수도가 어떤지 알려드릴 수 있습니다. 수도는 서울입니다.

>>> 대한민국 대통령이 누구야?
대한민국 대통령은 윤석열입니다.