DevOps Engineer. Fullstack Develloper. Software Architect.
들어가며 최근 블랙웰 아키텍처 기반 RTX 5090을 메인으로, 기존 RTX 4090과 RTX 3090 2장을 함께 사용해야 하는 작업 환경을 구성하게 되었습니다. 메인보드는 ASUS Pro WS TRX50-SAGE WIFI, CPU는 Threadripper PRO 7960X(48 PCIe lanes). 계획은 다음과 같았습니다. * 1번 슬롯: RTX 5090 * 2번 슬롯: RTX 4090 * 4·5번 슬롯: RTX 3090
아마존에서 48GB 메모리 4개를 구매했습니다. asrock b650 rs pro 보드에 이 메모리를 장착했는데 2개는 인식이 되지만 4개는 한참이 걸려도 인식을 못했습니다. "램 타이밍 및 전력 등에 대해 보드가 학습하는데 3~5분, 심하면 10분도 걸려요." 라는 글에 1시간을 기다렸는데도 변함이 없었습니다. 그래서 좀 더 찾아보니.. 보드의 bios를 업데이트하면 해결된다는겁니다
SSD 990 PRO 1TB 4개를 SSG 특가로 질렀습니다. 왜냐면... 무려 2년전에 사놓고 쓰지를 못했던 이녀석을 쓰기 위해서 말이죠 amd 7800x3d가 장착된 PC이다보니 이 녀석을 달기 위해선 어쩔 수 없이 GPU를 제거하기로 했습니다. GPU 없어도 내장 그래픽이 가능하니.. 어차피 이 gpu는.. 다른 형제들과 함께 4gpu를 완성해야 하는 처지라서 떠날 친구였습니다. 이
clone 할 경로를 아래와 같은 스타일로 입력 \\wsl.localhost\Ubuntu-22.04\home\euno\git\sepilot 여기서 Ubuntu-22.04 는 wsl -l 을 하면 나오는 distro 이름과 정확히 일치해야 한다
AMD Ryzen™ 9000, 8000 및 7000 Series Processors 14+2+1 페이즈 전원부 디자인, SPS 4 x DDR5 DIMMs (Dual Channel), 최대 256GB 7200+(OC)* Dual Channel, 최대. 7200+ (OC) 1 PCIe 4.0 x16 supports x16 모드*, CPU 1 PCIe 3.0 x16, supports x4 모드*, CPU 1 PCIe
AI
2025년 7월 3일, SK텔레콤과 KT가 각자의 한국형 거대언어모델(A.X 4.0 / 믿:음 2.0)을 오픈소스로 동시에 공개하며 '소버린 AI' 시대의 서막을 열었습니다. 글로벌 기술 최적화와 한국적 철학이라는 상반된 전략 속, 이들이 던진 메시지와 국내 AI 생태계에 미칠 파급력을 짚어봅니다.
aws summit 2025 seoul 2일차 이야기
aws
AWS Summit 2025 Seoul 1일차 기록
AI
당연히 Maverick이 압도적이겠지만 unsloth/Llama-4-Scout-17B-16E-Instruct-GGUF/Llama-4-Scout-17B-16E-Instruct-UD-IQ2_XXS.gguf unsloth/Llama-4-Maverick-17B-128E-Instruct-GGUF/UD-IQ1_S/Llama-4-Maverick-17B-128E-Instruct-UD-IQ1_S-00001-of-00003.gguf 이 두개를 비교하고자 한다. 비교 방법은 코드 생성을 시켜서 그 코드가 의도한 결과가 나오는지 비교하는것이다. 프롬프트 " Write a single `app.py` file using **FastAPI** that does the following: 1. **GPU Monitoring Logger**: - Run
AI
rtx4090, rtx3090x2 으로 총 72GB 구성된 환경에서 아래 모델을 돌려봄. 방법은 https://docs.unsloth.ai/basics/tutorial-how-to-run-and-fine-tune-llama-4 참고 unsloth/Llama-4-Scout-17B-16E-Instruct-GGUF/Llama-4-Scout-17B-16E-Instruct-UD-IQ2_XXS.gguf ./llama.cpp/llama-cli --model unsloth/Llama-4-Scout-17B-16E-Instruct-GGUF/Llama-4-Scout-17B-16E-Instruct-UD-IQ2_XXS.gguf --threads 32 --ctx-size 16384 --n-gpu-layers 99 --seed 3407 --prio 3 --temp 0.6 --min-p 0.01 --top-p 0.
HomeLab
* GPU Node 추가 * Control Plane은 일단 2개 * Istio / Nginx 구성 * Longhorn Storage 6TB * Monitoring/Logging 활성화 이제 SaaS / BaaS 등의 구성이 필요 * Argocd를 통해 배포할 서비스들 * Supabase * Coder * Harbor * Nexus3 * Sonarqube * Keycloak * Gitea * Open-webui * ComfyUI * Minio * Openbao * Redis Operator * Argo Rollouts? * Argo Events? * Sealed‑Secrets? * OPA Gatekeeper / Kyverno? * Grafana Loki?