요즘 맥미니를 로컬 LLM용으로 찾는 분들이 많습니다.
예전에는 디자인 회사나 영상 편집하는 곳에서 많이 쓰던 작은 데스크톱 컴퓨터였습니다. 저희도 거래처에 맥미니를 많이 납품하고 세팅해왔는데 애플실리콘칩이 들어간 뒤 성능이 크게 올라가면서 쓰는 사람도, 쓰는 방법도 달라졌습니다.
CPU와 GPU가 통합 메모리를 같이 사용합니다.
일반 PC는 그래픽카드에 들어있는 VRAM 용량을 먼저 보게 됩니다. 8GB 그래픽카드는 8GB, 12GB 그래픽카드는 12GB 안에서 GPU가 움직입니다.
애플실리콘은 CPU와 GPU가 같은 메모리를 같이 사용합니다. 로컬 LLM처럼 모델을 메모리에 올려놓고 계속 데이터를 읽는 작업에서는 메모리 용량과 대역폭을 같이 보게 됩니다.
애플이 발표한 M6 맥미니의 통합 메모리 대역폭은 최대 170GB/s입니다.
M6는 애플 최초의 2나노 칩이고 12코어 CPU와 12코어 GPU가 들어갑니다. GPU 코어마다 Neural Accelerator가 붙고 Neural Engine은 16코어짜리 두 개가 들어갑니다.
저는 CPU가 몇 퍼센트 빨라졌다는 숫자보다 170GB/s가 더 궁금합니다.
M4와 M6에 같은 LLM을 올려놓고 토큰 속도를 재보면 됩니다. 몇 시간 계속 돌렸을 때 처음 속도가 유지되는지, 팬이 얼마나 도는지, 본체 온도는 어느 정도까지 올라가는지도 같이 확인할 수 있습니다.
메모리는 최대 32GB입니다.
소형 LLM이나 Whisper 음성인식, 이미지 분류, 사진 자동선별, 자동화 프로그램을 돌리기에는 해볼 수 있는 작업이 많습니다.
큰 모델을 올리기 시작하면 32GB는 금방 한계가 옵니다. 64GB까지 선택할 수 있었다면 맥 스튜디오까지 올라가지 않고 맥미니 한 대에서 끝내고 싶은 분들에게 더 반가웠을 겁니다.
상위 모델은 M5 Pro가 들어가고 Thunderbolt 5를 사용합니다. 맥미니 여러 대를 연결해서 더 큰 AI 작업을 나눠 돌리는 구성도 가능합니다.
몇 년 전까지 맥미니는 한 대 놓고 포토샵이나 영상 편집에 사용하는 컴퓨터였습니다. 지금은 여러 대를 묶어서 LLM을 돌리는 사람도 있습니다.
챗GPT가 나온 뒤 애플은 생성형 AI에서 뒤처졌다는 말을 많이 들었습니다.
구글이나 마이크로소프트, 메타처럼 생성형 AI 서비스를 앞세운 회사와는 모습이 달랐습니다.
개인이 자기 컴퓨터에 LLM을 직접 설치해서 돌리기 시작하니 애플실리콘의 통합 메모리 구조가 로컬 AI에서 힘을 쓰고 있습니다.
맥미니는 배터리와 디스플레이가 없는 데스크톱이라 전원에 연결해놓고 계속 돌리기에도 편합니다. 몇 시간씩 모델을 돌리거나 자동화 프로그램을 하루 종일 켜놓는 용도로도 부담이 적습니다.
애플 발표 기준으로 M6 맥미니는 M4보다 AI 성능 최대 4배, CPU 최대 40%, 그래픽과 SSD 최대 2배, LM Studio의 LLM 프롬프트 처리 속도는 최대 4.8배라고 합니다.
M4 맥미니로 포토샵이나 오피스 정도를 사용하고 계시다면 저는 그대로 쓰겠습니다. M4도 이미 빠릅니다.
M6에서 제가 확인하고 싶은 건 로컬 AI입니다.
32GB 메모리에 어느 정도 크기의 모델까지 편하게 올라가는지, 170GB/s 메모리 대역폭이 토큰 속도로 얼마나 나오는지, 두세 시간 계속 돌려도 속도가 유지되는지 직접 보고 싶습니다.
출고되면 M4와 M6를 옆에 놓고 같은 모델부터 돌려보겠습니다.
