Claude Code에 OTEL 적용하고 모니터링 사이트 만든거 자랑(?)(codex, gemini 포함)
여러 구독 요금제로 개발을 하면서 Agent 사용 현황을 지켜보고 싶다는 욕구가 생겼습니다.
그래서 만들었습니다
전체를 한눈에 볼 수 있는 대시보드입니다. 아직 좀 허전하네요
일간 대시보드 입니다.
주간 대시보드입니다. 이번주 열일 했네요.
에이전트 비교도 해봤습니다만.. 큰 의미는 없네요
일주일간 API로 치면 $673 정도 썻다고 하네요
개인 homelab 개발인데.. 사실 API 과금 안할꺼지만 이게 회사였다면 저혼자 $1391 사용이 예상된다고 합니다.
혼자 쓰는거라 의미 없는 데이터이긴 하지만 ㅎㅎ 그냥 만들어봤습니다
제가 제일 많이 들어가는 화면입니다
어떤 agent를 많이 써야 할지 파악하는 용도이죠
이상으로 제 agent 모니터링 사이트 소개를 마칩니다.
최근 AI 도구들이 비약적으로 발전하면서 '프롬프트 엔지니어링'이라는 기술적 기법에 많은 관심이 쏠렸습니다. 하지만 실제 현업에서 LLM을 극한으로 활용해 고도의 결과물을 만들어내는 사람들의 공통점은 정교한 프롬프트 템플릿을 쓰는 능력이 아니라, 해당 분야에 대한 깊은 '도메인 전문성'을 갖추고 있다는 점입니다. 많은 이들이 LLM이 지식의 격차를 줄여준다고
최근 Claude Code나 Kiro와 같은 AI 코딩 에이전트들이 단순한 코드 완성을 넘어, 자연어 프롬프트 하나로 수십 개의 PR을 생성하고 인프라를 수정하는 수준까지 발전했습니다. 하지만 이러한 생산성 향상은 '기계적 속도'라는 트레이드오프를 동반합니다. AI 에이전트는 조직의 보안 리스크나 컴플라이언스를 이해하지 못한 채 오직 '작업 완료'에만 최적화되어
최근 LLM의 성능이 비약적으로 상승하면서, 역설적으로 우리가 모델의 성능을 측정하는 '자' 자체가 무용지물이 되는 현상이 가속화되고 있습니다. arXiv에 게재된 "When AI Benchmarks Plateau: A Systematic Study of Benchmark Saturation" 연구는 우리가 흔히 신뢰하는 벤치마크 점수가 왜 더 이상 모델 간의 변별력을 제공하지 못하는지, 그리고 이른바 '
DevOps.com을 통해 Airlock Digital이 발표한 'Agentic AI Control & Governance' 솔루션 소식을 접했습니다. 이번 발표의 핵심은 단순히 '어떤 AI 소프트웨어를 실행할 것인가'라는 기존의 화이트리스트 방식(Application Control)을 넘어, 실행 중인 AI 에이전트가 '실제로 어떤 명령을 내리고 어떻게 행동하는가'를 실시간으로 제어하겠다는
