이제 SaaS / BaaS 등의 구성이 필요
aws summit 2025 seoul 2일차 이야기
AWS Summit 2025 Seoul 1일차 기록
당연히 Maverick이 압도적이겠지만 unsloth/Llama-4-Scout-17B-16E-Instruct-GGUF/Llama-4-Scout-17B-16E-Instruct-UD-IQ2_XXS.gguf unsloth/Llama-4-Maverick-17B-128E-Instruct-GGUF/UD-IQ1_S/Llama-4-Maverick-17B-128E-Instruct-UD-IQ1_S-00001-of-00003.gguf 이 두개를 비교하고자 한다. 비교 방법은 코드 생성을 시켜서 그 코드가 의도한 결과가 나오는지 비교하는것이다. 프롬프트 " Write a single `app.py` file using **FastAPI** that does the following: 1. **GPU Monitoring Logger**: - Run
rtx4090, rtx3090x2 으로 총 72GB 구성된 환경에서 아래 모델을 돌려봄. 방법은 https://docs.unsloth.ai/basics/tutorial-how-to-run-and-fine-tune-llama-4 참고 unsloth/Llama-4-Scout-17B-16E-Instruct-GGUF/Llama-4-Scout-17B-16E-Instruct-UD-IQ2_XXS.gguf ./llama.cpp/llama-cli --model unsloth/Llama-4-Scout-17B-16E-Instruct-GGUF/Llama-4-Scout-17B-16E-Instruct-UD-IQ2_XXS.gguf --threads 32 --ctx-size 16384 --n-gpu-layers 99 --seed 3407 --prio 3 --temp 0.6 --min-p 0.01 --top-p 0.