AI
llama4 돌려보기 (llama.cpp)
rtx4090, rtx3090x2 으로 총 72GB 구성된 환경에서 아래 모델을 돌려봄. 방법은 https://docs.unsloth.ai/basics/tutorial-how-to-run-and-fine-tune-llama-4 참고 unsloth/Llama-4-Scout-17B-16E-Instruct-GGUF/Llama-4-Scout-17B-16E-Instruct-UD-IQ2_XXS.gguf ./llama.cpp/llama-cli --model unsloth/Llama-4-Scout-17B-16E-Instruct-GGUF/Llama-4-Scout-17B-16E-Instruct-UD-IQ2_XXS.gguf --threads 32 --ctx-size 16384 --n-gpu-layers 99 --seed 3407 --prio 3 --temp 0.6 --min-p 0.01 --top-p 0.