반말뉴스 로고
반말뉴스
앱으로 보기
2026년 6월 28일 AI 소식 핵심 브리핑

로컬로 돌릴지 클라우드에 쏠지 알아서 칼같이 골라주는 라우터

바쁜 하루, AI가 핵심만 3줄로 짚어주는 반말뉴스로 빠르게 확인해봐!

6월 27일
6월 28일
6월 29일
실시간 랭킹반말 인사이트구글 트렌드AI 소식
로컬로 돌릴지 클라우드에 쏠지 알아서 칼같이 골라주는 라우터
인프라

로컬로 돌릴지 클라우드에 쏠지 알아서 칼같이 골라주는 라우터

  • 로컬 LLM과 클라우드 LLM 사이에서 쿼리 성격에 따라 어디로 보낼지 결정적(Deterministic)으로 골라주는 Wayfinder Router 오픈소스야.
  • 모든 걸 비싼 OpenAI API로 처리하긴 돈 아깝고, 그렇다고 로컬로만 돌리기엔 성능이 아쉬울 때 딱 알맞은 절충안이지.
  • 개인 개발자나 소규모 팀이 인프라 비용 아끼면서 최적의 효율을 내고 싶을 때 쓰기 좋아 보여.
Hacker News - LLM원문 보기
LLM이 LLM을 채점할 때 완성도를 확 올려주는 심사역 기술
알고리즘

LLM이 LLM을 채점할 때 완성도를 확 올려주는 심사역 기술

  • LLM을 평가자(Judge)로 활용해 다른 LLM의 아웃풋을 채점하게 하는 기법을 한 단계 더 개선한 연구 논문이 아카이브에 떴어.
  • 기존 평가 방식의 편향이나 모호함을 줄이고 신뢰할 수 있는 지표를 뽑아내기 위한 새로운 접근법을 제시하고 있지.
  • 성능 평가에 들어가는 막대한 시간과 인간 비용을 아끼기 위해 갈수록 판이 커지는 분야인 것 같아.
Hacker News - LLM원문 보기
파이썬도 Node도 무겁다면? 쌩 배시로 LLM API 찌르기
생산성

파이썬도 Node도 무겁다면? 쌩 배시로 LLM API 찌르기

  • 가벼운 VPS 서버에서 무거운 파이썬 가상환경이나 npm 패키지 깔기 귀찮아서 만든 의존성 제로 Bash4LLM+ 프로젝트 소식이야.
  • 오직 curl이랑 jq만 있으면 작동하고, 스트리밍 출력은 물론이고 플랫 파일 잠금 기능까지 야무지게 구현했대.
  • 심지어 터미널 안에서 대화하면서 컨텍스트를 로드하는 REPL 챗 모드까지 지원하는 찐 배시 덕후의 작품이네.
Hacker News - LLM원문 보기
복잡한 LLM 워크플로우를 모듈처럼 엮는 새로운 설계도 제안
아키텍처

복잡한 LLM 워크플로우를 모듈처럼 엮는 새로운 설계도 제안

  • 모듈형 LLM 파이프라인과 워크플로우를 체계적으로 다루기 위한 마크업 명세 아이디어 'Thought Tree' 오픈소스 프로젝트가 올라왔네.
  • 프롬프트 체이닝이나 에이전트들의 복잡한 흐름을 규격화된 트리 형태로 관리해서 관리 효율성을 높이려는 시도야.
  • 아직 제안 단계의 오픈소스 디자인이라 앞으로 개발자 생태계가 어떻게 반응할지 지켜볼 만해.
Hacker News - LLM원문 보기
비싼 AI API 안 쓰고 YAML 코드로 MCP 서버 씹어먹기
도구

비싼 AI API 안 쓰고 YAML 코드로 MCP 서버 씹어먹기

  • 최근 뜨고 있는 MCP(Model Context Protocol) 서버를 AI 모델 없이도 테스트하고 자동화할 수 있는 도구 Ocarina가 나옴.
  • Ansible 플레이북 같은 느낌으로 YAML 파일에 도구 호출과 예상 결과를 적어두면 알아서 단계별로 실행해 줘.
  • LLM이 헛소리(환각)할까 봐 걱정할 필요 없이 정해진 시나리오대로 깔끔하게 테스트하고 싶을 때 유용할 듯해.
Hacker News - LLM원문 보기
여러 대 컴퓨터를 묶어서 LLM 추론 속도 끌어올리는 비법
인프라

여러 대 컴퓨터를 묶어서 LLM 추론 속도 끌어올리는 비법

  • LLM-d라는 기술을 사용해서 여러 장치에 LLM 추론을 분산 처리하는 방법을 다룬 글이야.
  • 값비싼 단일 서버 대신 여러 컴퓨터를 묶어서 큰 모델을 더 효율적으로 서빙하는 게 핵심 아이디어지.
  • 추론 지연 시간을 줄이면서도 분산 시스템을 깔끔하게 엮는 구조적 묘수를 엿볼 수 있어.
Hacker News - LLM원문 보기
내 방구석 RTX 5070으로 4B 가벼운 추론 모델을 돌린다고?
모델

내 방구석 RTX 5070으로 4B 가벼운 추론 모델을 돌린다고?

  • RTX 5070 그래픽카드 한 장으로 Qwen3 기반의 4B 모델을 미세조정(Finetuning)하는 데 성공했대.
  • Unsloth를 써서 메모리 효율을 극대화했고, 일반 사용자용 PC 환경에서도 문제없이 잘 돌아간다는 소식이야.
  • 생각하는 능력(Chain-of-Thought)을 키우려고 Open-CoT-Reasoning-Mini 데이터셋을 썼으니 성능도 제법 쏠쏠할 듯하네.
Hacker News - LLM원문 보기
무거운 Python과 NPM은 가라! 오직 터미널과 Bash로 끝내는 LLM API 호출
도구

무거운 Python과 NPM은 가라! 오직 터미널과 Bash로 끝내는 LLM API 호출

  • 의존성 패키지 설치 필요 없이 오직 pure Bash(4+)와 curl, jq로만 작동하는 Bash4LLM+가 등장했어.
  • 가벼운 VPS 환경에서도 스트리밍 출력과 플랫 파일 기반의 세션 히스토리 저장까지 알차게 지원해.
  • 단 하나의 파일로 구성되어 해킹 우려 없이 안전하고, 대화형 REPL 모드로 터미널에서 즉시 사용 가능해서 매력적이야.
Hacker News - LLM원문 보기
Jetson 같은 엣지 장비 구원투수! Linux PSI로 LLM KV 캐시 다이어트하기
하드웨어

Jetson 같은 엣지 장비 구원투수! Linux PSI로 LLM KV 캐시 다이어트하기

  • 리눅스의 시스템 압박 정보(PSI)를 활용해서 LLM 런타임의 KV 캐시 크기를 동적으로 조절하는 KV-psi 프로젝트야.
  • 특히 Unified Memory를 쓰는 Jetson Orin nano 같은 엣지 디바이스에서 메모리 확보할 때 아주 유용할 듯해.
  • 로컬 LLM 굴릴 때 메모리 터지는 문제를 시스템 단에서 스마트하게 해결해 보려는 기발한 접근이야.
Hacker News - LLM원문 보기
LLM 추론도 이제 쪼개서 분산 처리하자, LLM-d의 야망
아키텍처

LLM 추론도 이제 쪼개서 분산 처리하자, LLM-d의 야망

  • 거대 언어 모델(LLM)을 분산 환경에서 효율적으로 추론하기 위한 LLM-d 기술에 대한 분석글이야.
  • 단일 서버의 한계를 넘어서 여러 노드에 걸쳐 LLM을 굴리는 아키텍처적 고민을 담고 있어.
  • 대형 모델을 효율적으로 서빙하고 싶은 개발자라면 무조건 읽어봐야 할 아키텍처 가이드라인이네.
Hacker News - LLM원문 보기
RTX 5070 한 장으로 4B LLM 파인튜닝 끝낸 괴물 모델 등장
모델

RTX 5070 한 장으로 4B LLM 파인튜닝 끝낸 괴물 모델 등장

  • OrbitAIEU라는 곳에서 Qwen3:4B를 RTX 5070에서 직접 파인튜닝한 Apex-1-flash를 공개했어.
  • 메모리 효율을 극대화해주는 Unsloth를 썼기 때문에 일반 가정용 그래픽카드로도 가능했다는 점이 핵심이야.
  • 추론 능력을 키우려고 Open-CoT-Reasoning-Mini 데이터셋을 학습시켰대. 가벼우면서도 똑똑한 온디바이스 AI의 서막일지도 모르겠네.
Hacker News - LLM원문 보기
복잡한 LLM 워크플로우를 트리 구조로 시각화하는 마크업 스펙
아키텍처

복잡한 LLM 워크플로우를 트리 구조로 시각화하는 마크업 스펙

  • Robert Bateman이 제안한 Thought Tree는 복잡한 AI 에이전트의 작업 흐름을 모듈화해서 명세하는 마크업 스펙이야.
  • 각 단계별 LLM의 행동 양식과 흐름을 나무 가지 치듯 체계적으로 관리할 수 있도록 설계했어.
  • 정교하고 복잡한 LLM 파이프라인이나 멀티 에이전트 시스템을 구상하는 아키텍트들에게 좋은 힌트가 될 듯해.
Hacker News - LLM원문 보기
귀찮은 MCP 서버 테스트, AI 없이 YAML 파일로 3초 만에 자동화하기
도구

귀찮은 MCP 서버 테스트, AI 없이 YAML 파일로 3초 만에 자동화하기

  • Ansible처럼 YAML 설정 파일만으로 MCP 서버를 직접 제어하고 테스트하는 도구 'Ocarina'가 나왔어.
  • AI를 거치지 않고 직접 작성한 스크립트(Rondo)대로 도구 호출이나 커밋 검사 등을 단계별로 실행해 주지.
  • MCP 서버 만들고 매번 잘 굴러가는지 일일이 테스트하기 지쳤던 개발자들에게 오아시스 같은 툴이 될 거야.
Hacker News - LLM원문 보기
여러 대 컴퓨터로 LLM을 굴린다고? LLM-d 분산 추론 가이드
인프라

여러 대 컴퓨터로 LLM을 굴린다고? LLM-d 분산 추론 가이드

  • 무거운 LLM을 한 대의 장비가 아니라 여러 노드에 나누어서 분산 추론하는 LLM-d 프로젝트 소식이야.
  • 네트워크 병목을 줄이고 자원을 효율적으로 나눠 쓰는 아키텍처 구조를 잘 설명해 주고 있어.
  • 서버 한 대로 감당하기 힘든 초거대 모델을 효율적으로 분산 처리하려는 개발자라면 한번 쓱 훑어봐.
Hacker News - LLM원문 보기
RTX 5070 한 장으로 뚝딱, 4B 가벼운 생각쟁이 AI 모델의 등장
모델

RTX 5070 한 장으로 뚝딱, 4B 가벼운 생각쟁이 AI 모델의 등장

  • OrbitAI에서 Qwen3 4B 모델을 RTX 5070 그래픽카드로 파인튜닝한 Apex-1-flash를 공개했어.
  • 소비자용 GPU 한 장으로 학습할 수 있도록 Unsloth 라이브러리로 메모리 효율을 극한으로 끌어올렸대.
  • Open-CoT 데이터셋을 학습해서 생각의 흐름(Chain-of-Thought)을 추론하는 능력이 아주 쏠쏠하다고 하네.
Hacker News - LLM원문 보기
AI 필요 없어! YAML 파일로 MCP 서버 자동화하고 테스트하는 꿀단지
도구

AI 필요 없어! YAML 파일로 MCP 서버 자동화하고 테스트하는 꿀단지

  • 최근 뜨고 있는 Model Context Protocol(MCP) 서버를 인공지능 모델(LLM) 없이 직접 제어하는 도구 'Ocarina'가 나왔어.
  • Ansible 플레이북 같은 형식으로 YAML 코드만 짜면 MCP 서버의 도구 호출을 단계별로 실행하고 결과까지 바로 테스트 가능해.
  • AI 에이전트를 매번 호출해서 비용과 에러율을 걱정하는 대신, 사람이 직접 안전하고 빠르게 워크플로우를 제어하는 방식이야.
아파트 단지별 관리비 거품 랭킹 & 안심진단
보기 ›
Hacker News - LLM원문 보기
서버 한 대로 안 되면 쪼개자, LLM 분산 추론 프로젝트 등장
인프라

서버 한 대로 안 되면 쪼개자, LLM 분산 추론 프로젝트 등장

  • 초거대 인공지능 모델을 돌리려면 서버 스펙이 엄청나야 하는데, 이걸 분산해서 해결하려는 시도인 LLM-d 기술이야.
  • 여러 컴퓨터에 연산을 분산 처리해서 무거운 모델도 효율적으로 구동할 수 있게 돕는 아키텍처지.
  • 리소스가 부족한 개인 개발자나 소규모 팀에게 특히 유용한 분산 인프라 구성 팁이 될 듯해.
Hacker News - LLM원문 보기
집에 굴러다니는 RTX 5070으로 4B LLM 파인튜닝하는 시대 열렸다
모델

집에 굴러다니는 RTX 5070으로 4B LLM 파인튜닝하는 시대 열렸다

  • RTX 5070 한 장으로도 가벼운 추론용 소형 모델인 Qwen3 기반의 Apex-1-flash를 파인튜닝할 수 있게 되었어.
  • Unsloth라는 메모리 효율 최적화 도구를 사용해서 개인 하드웨어 진입 장벽을 엄청 낮춘 게 핵심이야.
  • 소비자용 글픽카드로도 Chain-of-Thought(CoT) 추론 성능을 끌어올릴 수 있다는 걸 증명한 셈이지.
Hacker News - LLM원문 보기
뉴스 더보기(6월 27일)

이전 일자의 주요 이슈 브리핑을 계속해서 볼 수 있어