saiga_30b_ggml

作者 IlyaGusev · 下载 0 · 点赞 20 · 更新 2023-11-02

Llama.cpp compatible version of an original 30B model.

How to run:

sudo apt-get install git-lfs
pip install llama-cpp-python fire

python3 interact_llamacpp.py ggml-model-q4_1.bin

System requirements: