로컬 AI 체커

양자화 수준, 즉 모델 가중치 하나를 몇 비트로 저장하느냐를 뜻합니다. Q4는 약간의 품질 손실을 감수하는 대신 모델을 원본의 약 4분의 1 크기로 줄이고, FP16은 원본 크기 그대로의 최고 품질입니다. 로컬 사용자는 대부분 메모리 절약을 위해 Q4나 Q8을 사용합니다.

Apple Silicon Mac은 CPU와 GPU가 하나의 통합 메모리 풀을 공유합니다. 그래서 PC에서라면 24GB급 외장 그래픽카드가 필요한 모델도 32GB MacBook에서는 GPU로 가속할 수 있습니다.

아니요. 클라우드에서 서비스되는 프론티어 모델이 분명히 더 뛰어납니다. 하지만 7B~13B 로컬 모델도 요약, 초안 작성, 코딩 지원은 충분히 잘 처리하며, 토큰당 비용이 전혀 들지 않고 오프라인에서도 작동하며 민감한 데이터가 내 컴퓨터 밖으로 나가지 않습니다.

일반적인 런타임 오버헤드를 포함한 llama.cpp 방식 런타임 기준의 계획용 수치입니다. 긴 컨텍스트, 큰 배치 크기, 런타임 종류에 따라 실제 사용량이 달라지므로, 아슬아슬하게 초록색이 나온 판정은 '될 수도 있다' 정도로 받아들이시기 바랍니다.