맥북 유저들 집중! 애플 실리콘 전용 초고속 추론 서버 등장
맥북 유저들 집중! 애플 실리콘 전용 초고속 추론 서버 등장
- Zig 언어로 짜인 Apple Silicon 전용 LLM 인러펀스 서버 'mlx-serve'가 깃허브에 공개됐어.
- 맥 생태계에서 작동하는 MLX 프레임워크를 기반으로 돌아가기 때문에 칩셋의 성능을 아주 영혼까지 끌어다 쓰지.
- 개인용 맥북이나 맥 스튜디오에서 가볍고 빠르게 로컬 AI 모델을 서빙하려는 개발자들에게 딱 맞는 물건이야.
메타 AI 수장 호언장담 “우리 차기작, 오픈AI 플래그십 따라잡았다”
- 메타의 AI 책임자가 곧 출시될 자신들의 LLM이 오픈AI의 차세대 플래그십 모델 수준에 도달했다고 자신감을 내비쳤어.
- 오픈소스 진영의 맹주인 메타가 오픈AI의 독주 체제를 완전히 깨부수겠다는 선전포고를 한 셈이지.
- 앞으로 성능 싸움이 어떻게 흘러갈지, 오픈소스 AI 생태계가 얼마나 더 커질지 관전 포인트야.
LLM이 만든 결과물 공유하느라 삽질하던 시절은 이제 끝내자
- Dropway라는 서비스가 새로 나왔는데, HTML이나 마크다운 형식의 LLM 산출물을 드래그 한 번으로 즉시 링크로 만들어 줘.
- 이메일 허용 리스트나 조직원 전용 등 접근 제어도 꼼꼼하고, 매번 배포할 때마다 자동 버전 관리가 돼서 되돌리기도 편하지.
- CLI랑 MCP 연동을 지원하니까 클로드나 커서 같은 툴 안에서 바로 배포하고 팀원들과 공유할 수 있어서 협업 효율이 극대화될 듯해.
프롬프트에 URL 하나 툭 던져두면 LLM 답변이 바뀔까?
- 질문할 때 내용 설명 없이 특정 URL만 프롬프트에 쓱 넣어두어도 모델이 그 링크 콘텐츠 방향으로 답변을 유도하는지 분석한 흥미로운 글이야.
- 결론부터 말하면 LLM이 웹 페이지 정보를 긁어와서 답변 맥락을 구성하는 데 꽤 큰 영향을 받는 것으로 보여.
- 원치 않는 편향을 피하려면 프롬프트 작성할 때 링크 삽입도 은근히 신경 써야겠더라고.
오피스 프로그램에서도 내 맘대로 AI 고르는 시대가 왔다
- Collabora Office 26.04 데스크톱 버전이 업데이트되면서 사용자가 원하는 LLM을 직접 선택해 쓸 수 있게 됐어.
- 특정 빅테크 AI에 종속되지 않고 입맛에 맞는 인공지능 비서를 골라 문서를 편집할 수 있는 자유도가 생긴 거지.
- 로컬 AI나 선호하는 API를 오피스 작업에 유연하게 엮어 쓰고 싶었던 사람들한테 단비 같은 소식이야.
구글 딥마인드 노조 협상 첫날부터 삐걱거리는 진짜 이유
- 수요일에 열린 노조 협상에서 직원들이 경영진의 미온적인 태도에 제대로 빡쳤대.
- 사측 임원들이 노조 설립 추진 자체를 진지하게 받아들이지 않고 회피하려는 뉘앙스를 풍겼다는 폭로가 나왔거든.
- 세계 최고의 AI 연구소에서도 노동 권리를 둘러싼 갈등이 본격적으로 불붙기 시작하는 모양새야.
클로드 소네트 5 비전 성능 분석, 의외로 1등이 아니라고?
- Roboflow가 67개의 실제 비전 프롬프트로 클로드 소네트 5의 시각 능력을 빡세게 테스트해 봤어.
- 결과는 이전 버전인 소네트 4.6이랑 엇비슷하고, Fable 5한테는 밀리는 성능을 보여줬네.
- 심지어 이 분야 왕좌를 지키고 있는 구글 제미나이 3.5 플래시랑은 격차가 꽤 벌어져 있어서 아쉬운 성적표야.
LLM 쓸 때 개인정보 털릴까 봐 쫄린다면 이거 깔아봐
- PrivAiTe라는 셀프 호스팅 프록시 도구가 새로 나왔는데, LLM 호출이나 툴 콜에서 개인 식별 정보(PII)를 알아서 검열해 준대.
- 내부 서버에 직접 올려서 쓸 수 있으니까 외부로 민감한 데이터가 새 나갈 걱정을 덜 수 있어서 아주 든든하지.
- 개인정보 보호가 최우선인 기업이나 개발자들한테 꽤나 쏠쏠한 해결책이 될 것 같아.
