CPU와 GPU: 왜 AI는 CPU말고 GPU를 사용할까?

요약

1. CPU는 지연 시간(latency)를 최적화하기 위한 것

2. GPU는 처리량(Throughput)을 위한 것

3. AI의 무지막지한 연산 요구량은 GPU가 적합

 

 

AI 붐이 일어나면서, 엔비디아의 영업 이익과 더불어 주가도 엄청나게 치솟았다. 그 이유는 GPU라 불리는 Graphics Processing Unit. 왜 AI는 CPU 말고 GPU를 사용하고 싶어하는걸까?

 

Central Processing Unit (CPU)

---

중앙처리 장치라고도 불리는 CPU. CPU 자체의 설계는 단일 순차 작업(Sequential task)을 최대한 빠르게 완료하는 것을 목표로, 작업의 지연시간 (latency)를 줄이는데 최적화가 되어있습니다. 이 목적을 달성하기 위해서 정말 다양한 기능/장치들이 CPU 안에 있는데요.

 

 

위 그림에서 볼 수 있듯이 CPU는 지연 시간(Latency)을 최소화하기 위해 발전해왔는데요. 대표적으로 메모리에서 데이터를 미리 가져와 캐시 접근 속도를 최적화하는 프리페처(Memory Pre-fetcher), 조건문(if-else)의 실행 방향을 미리 예측하여 파이프라인 중단을 막는 분기 예측기(Branch Predictor) 기술이 있습니다. 게다가 하나의 명령어로 여러 데이터를 동시에 처리하는 SIMD(Single Instruction, Multiple Data)는 연산 속도를 증가시키는데 큰 도움이 됐죠. 

 

하지만 인공지능의 연산에서는 CPU는 큰 도움이 되지 못했습니다. 그 이유는 낮은 처리량(Throughput) 때문이죠.

 

* 처리량(Throughput): 주어진 시간 동안 얼마나 많은 데이터나 작업을 성공적으로 처리(완료)했는지를 나타내는 말.

 

Graphics Processing Unit (GPU)

---

 

 

인공지능이 요구하는 연산량은 어마어마합니다. 대표적인 LLM인 GPT-3만 해도 무려 1,750억 개의 매개변수(Parameter)를 가지고 있죠. 이 수많은 매개변수를 학습시키고 추론(Inference)할 때마다 매번 계산을 수행해야 하는데, CPU의 처리량으로는 100년이 넘게 걸려도 이 거대한 연산을 다 감당하지 못할 것입니다. 그래서 처리량이 어마어마한 GPU를 사용하는 이유입니다.

 

 

그렇다면 왜 GPU의 처리량은 이토록 어마어마할 수 있을까요? 위 표에서 볼 수 있듯이, CPU와는 비교조차 되지 않는 압도적인 코어 수 덕분입니다. 물론 코어를 만 개 이상으로 늘리는 대신, CPU가 가진 분기 예측기(Branch predictor)나 프리페처(Pre-fetcher) 같은 복잡한 제어 장치들을 과감히 희생해야 했죠. 하지만 오직 코어 수에 올인 한 이 설계 철학 덕분에, 대규모 연산에서 정말 괴물 같은 처리량을 보여줄 수 있게 되었습니다.