NPU, 왜 갑자기 중요해졌을까

**NPU(Neural Processing Unit)**는 AI 추론에 특화된 프로세서예요. 최근 스마트폰, 노트북, 자동차에 NPU가 기본 탑재되면서 “엣지 AI” 시대가 열리고 있습니다.

NPU vs GPU 한눈에

항목	GPU	NPU
주 용도	학습 + 추론	추론 전용
정밀도	FP32, FP16, BF16	INT8, INT4 위주
전력 효율	보통	5~10배 높음
프로그래밍	CUDA, ROCm	vendor SDK (Qualcomm, Apple, Intel 각각)
가격	고가	SoC에 내장

핵심 차이는 “추론에 최적화” + **“전력 효율”**입니다. GPU는 만능이지만, NPU는 같은 일을 1/10의 전기로 해요.

어디서 쓰이나

• 스마트폰 — Apple Neural Engine, Qualcomm Hexagon, Google Tensor TPU
• 노트북 — Intel NPU 4 (Meteor Lake+), AMD Ryzen AI
• 자동차 — Tesla HW4, Mobileye EyeQ6
• 데이터센터 — AWS Trainium/Inferentia, Google TPU v5e

LLM을 NPU로 돌릴 수 있을까?

가능합니다. 다만 메모리 제약 때문에 **양자화(quantization)**가 필수예요. 8B 모델을 INT4로 양자화하면 약 4GB 메모리로 돌릴 수 있습니다.

# llama.cpp + NPU backend 예시 (Apple Silicon)
from llama_cpp import Llama

llm = Llama(
    model_path="hermes-3-8b-q4_k_m.gguf",
    n_gpu_layers=99,
    n_threads=8,
)

output = llm(
    "한국의 사계절을 한 문장으로 설명해줘",
    max_tokens=128,
)
print(output["choices"][0]["text"])

다음 글에서

• Apple Neural Engine 실전 벤치마크
• NPU에서 INT4 vs INT8 — 정확도 트레이드오프
• 라즈베리파이 + Hailo-8로 LLM 돌리기