stockmark-13b-gguf

stockmarkさんが公開しているstockmark-13bのggufフォーマット変換版です。

モデル一覧
GPTQ
mmnga/stockmark-13b-GPTQ-calib-ja-1k

AWQ
mmnga/stockmark-13b-AWQ-calib-ja

GGUF
mmnga/stockmark-13b-gguf

Usage

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
make -j
./main -m 'stockmark-13b-q4_0.gguf' -n 128 -p '今夜の晩御飯のレシピをご紹介します。'