땅다람쥐의 개발 일기

요약1. CPU는 지연 시간(latency)를 최적화하기 위한 것2. GPU는 처리량(Throughput)을 위한 것3. AI의 무지막지한 연산 요구량은 GPU가 적합 AI 붐이 일어나면서, 엔비디아의 영업 이익과 더불어 주가도 엄청나게 치솟았다. 그 이유는 GPU라 불리는 Graphics Processing Unit. 왜 AI는 CPU 말고 GPU를 사용하고 싶어하는걸까? Central Processing Unit (CPU)중앙처리 장치라고도 불리는 CPU. CPU 자체의 설계는 단일 순차 작업(Sequential task)을 최대한 빠르게 완료하는 것을 목표로, 작업의 지연시간 (latency)를 줄이는데 최적화가 되어있습니다. 이 목적을 달성하기 위해서 정말 다양한 기능/장치들이 CPU 안에 있는..

두 줄 요약.1. 캐시는 RAM 보다 훨씬 빠르다.2. 병목을 줄이기 위해서는 Cache hit의 횟수를 늘려야한다. 개발을 하다보면 결국에는 최적화를 해야할 시기가 다가옵니다. 그리고 최적화를 할 수 있는 방법은 정말 다양한데, 그 중 대표적인 것이 데이터의 움직임을 최소화하는 것입니다. 왜 최소화를 해야할까? 그 이유는 CPU 코어에서 멀어질수록 데이터를 가져오는데 시간이 많이 걸리기 때문이죠. 그럼 어떻게 하면 데이터의 움직임을 최소화 할 수 있을까? CacheCPU는 연산을 위해서 메모리(RAM)에서 필요한 데이터를 가져옵니다. 하지만 이 과정은 CPU 칩 바깥으로 나가야 하는 물리적 한계와 RAM 자체의 느린 성능 때문에, CPU의 연산 속도가 빠름에도 불구하고 병목 현상이 생기게 되죠. 이러..