AI 반도체, 폰 노이만 그리고 남한산성

AI 반도체, 폰 노이만, 영화 남한산성. 셋의 연결관계(?)에 대한 이야기

AI 반도체

• 인공지능 서비스를 탑재한 응용 제품/서비스에 적합한 인공지능 반도체

AI 반도체 시장 성장

• 지난 수년간 AI 반도체의 수요는 폭발적으로 증가
• 인공지능 반도체의 성장은 향후 10년간 6배 성장할 전망이며, 전체 시스템 반도체 시장의 약 1/3을 차지할 것으로 전망

AI 반도체 시장 전망

컴퓨팅 아키텍처의 변화

• 인공지능이 확산되면서 기존의 컴퓨팅 구조에 대한 한계점
• 기존의 컴퓨팅 구조는 프로그램 명령어를 메모리에서 불러와 실행하는 ⇒ 폰노이만 구조

폰 노이만 아키텍쳐

• 연산 장치와 메모리 장치가 분리 → 버스(Bus)를 이용해 명령어와 데이터를 주고받게 되는데, 폰노이만 구조의 컴퓨팅은 한 번에 하나의 명령어만 처리되는 직렬 컴퓨팅 방식
• CPU의 속도를 메모리가 따라가지 못해 데이터 전송 속도가 느려지는 병목현상 (Memory Wall 이라고도 불림)이 발생하는 한계
• 데이터처리 병목현상을 막기 위한, 데이터처리 속도 증가 및 데이터이동 최소화 방법이 지속적으로 개발
  - 빅데이터 처리를 위한 메모리 중심 컴퓨팅 구조가 필요
• 자율주행 자동차가 1시간 동안 만드는 데이터가 4TB
  - 기억장치 병목현상 해결 못하면 인공지능이 아무리 발달해도 사용하지 못할 수도

폰노이만

폰 노이만

• 천재 of 천재, 화성인, 악마의 두뇌를 가진 남자, 반신
  - 프린스턴 고등연구소 → 오펜하이머, 아인슈타인, 괴델 → 그중 월등히 천재였다고;
• 1903년 헝가리 출생
• 7년 의과 과정→ 2주 만에 마스터, 모국어 수준의 7개 언어;;
• 유진 위그너(노벨 물리학 수상)라는 사람이 11살 때 집합론, 정수론 강의를 들었는데
  - 선생님이 10살 폰노이만이라고..
• 최초로 한 연구들은 너무 많지만 제일 중요한 연구들
  - 맨해튼 프로젝트 → 세계 최초 핵무기 개발 연구
      - 원자폭탄의 핵심 기술 → 폰노이만
  - 게임이론
      - 개인이 각자의 위치에서 최선을 다하면 모두가 최상의 결과를 얻을 수 있을까?
      - 게임이론 전에는 그럴 것이라 생각 → 게임이론 → 모든 이득의 합은 0 → 제로섬 게임
  - 인공 생명
      - DNA는 설계도, RNA는 설계도 대로 생명체를 재구성하는 관리자
      - DNA에 새로운 설계도를 넣어서 생명체를 복제에 대한 원리를 수학적으로 증명
  - 범용 컴퓨터 개발
      - 초기 컴퓨터는 하드웨어 프로그램
      - CPU, memory, program 구조 → 프로그램 내장 방식 컴퓨터 → 애드삭
      - 애드삭을 만들고 테스트하려고 어려운 수학문제를 입력하고 본인도 계산 → 컴퓨터보다 빨리 계산
         - “제대로 잘 만들었구나”
      - 폰노이만 병목현상 → 해결법을 인간의 뇌에서 계속 찾았지만, 53세 나이로 연구를 마치지 못하고 세상을 떠남

앨런 튜링

• 폰 노이만의 제자
• 만능 튜링 기계
  - 서로 다른 종류의 소프트웨어, 입력데이터를 받아들일 수 있는 하드웨어

 

현재의 컴퓨터 구조

• 2차 세계 대전
  - 독일군 암호(애니그마) 해독

 

이미테이션 게임

• 독을 묻힌 사과를 먹고 자살
  - 당시 영국정부 동성애를 이유로 부당하게 대우
  - 애플 로고의 한 입 베어 먹은 사과가 튜링을 의미한다는 이야기도 있지만, 애플에서는 뉴턴의 사과라고 함

🌏 아무튼 폰노이만 구조의 한계는 대충 알겠고, 그럼 앞으로 어떻게 시장이 변할 것이냐?

인공지능 학습,  GPU

• 반도체는 메모리 반도체,  시스템 반도체로 나뉘고, 메모리 반도체는 기억/저장을, 시스템반도체는 연산을 담당
  - CPU(Central Processing Unit, 중앙처리장치)는 데이터를 순차적으로 처리
  - GPU(Graphics Processing Unit, 그래픽 처리 장치)는 동시 계산 요구량이 많은 그래픽 영상 처리를 위해 고안된 병렬처리 기반 반도체
• 데이터를 동시에 병렬적으로 연산함으로써 동시다발적인 학습과 추론이 가능해야 하므로 GPU가 인공지능 학습에 효율적
• 현재까지, 빅데이터를 다루는 컴퓨팅에는, 직렬로 데이터를 처리하는 CPU보다는, GPU와 같은 병렬 데이터 처리에 특화된 반도체를 주로 활용

인공지능, 클라우드

• GPT-3는 28만 개의 CPU 코어와 1만 개의 GPU를 동시에 사용. 데이터 학습을 위해 데이터를 분산시켜야 하며 학습된 모델을 결합
• 학습할 때와 런타임 시의 필요 리소스 비대칭성. 학습할 때는 대규모의 장비와 시스템이 필요하지만 런타임 시에는 1/1000배 정도의 서버와 시스템 메모리 저장소만 필요
  - 이는 클라우드 컴퓨팅 없이는 불가능
• 인공지능과 클라우드의 결합은 필연적
  - 클라우드 회사는 반도체 성능, 전력 소모에 신경

🌏 병렬처리를 위한 반도체가 필요하고, 학습을 위한 클라우드 발달이 필요하겠군..

기존 AI 반도체: CPU, GPU, FPGA

• 현재는 CPU, GPU, FPGA 등을 활용하여 AI 연산을 처리하고 있으며, 주로 GPU를 사용
• 하지만 GPU를 사용한 알고리즘은 AI에 최적화된 구조가 아니기 때문에 연산 능력이나 전력면에서 비효율성이 존재

2세대 AI 반도체: NPU

• 현재 업계 주류는 GPU 기반의 AI 가속기
• AI 가속기는 인공지능 개발을 위한 핵심 장비이기 때문에, AI 가속기 시장은 앞으로 폭발적으로 성장할 것이라 예상
• 엔비디아는 AWS( 아마존 웹 서비스)·마이크로소프트·IBM·구글 등 4대 클라우드 서비스에 사용되는 AI 가속기의 97%를 점유
• 삼성, 애플, 화웨이 등 스마트폰용 프로세서 개발 업체에서 프로세서에 AI 기능 가속기를 개발하여 내장

 

온 디바이스

차세대 AI 반도체: PIM, 뉴로모픽

• 차세대 AI 반도체는 다양한 방향으로 개발

인-메모리 컴퓨팅

메모리 기업들의 제품 개발 방향성

• 메모리의 bandwidth를 극대화시키는 HBM(High Bandwidth Memory)
  - 중앙 처리 장치(CPU)와 그래픽 처리 장치(GPU)의 성능에 비해 뒤처지는 표준 랜덤 액세스 메모리(DRAM)의 성능과 전력 문제를 해결하기 위해 개발 → 머더보드에 메모리 모듈(DIMM) 슬롯을 늘림
• 그러나 문제는 메모리 자체가 아니라 버스 → 대역폭을 높임
  - 데이터 스토리지(Storage) 근처에서 연산을 하는 PNM(Process Near Memory)
• 데이터 처리와 컴퓨팅을 같이 할 수 있는 PIM(Process in Memory)
  - 초고용량 Memory와 Processor를 결합한 PIM 구조는 데이터 센터에서 더욱더 중요
  - 데이터센터 증설 시, 저전력 고성능 시스템 구현을 위한 필수 아이템으로 자리 잡게 될 것으로 전망
  - 메모리 내 대량의 정보를 이동 없이 메모리 내에서 병렬 연산하고 결과만을 프로세서로 전송하기 때문에 전력 소모가 현저히 낮아, 차세대 저전력 인공지능(AI) 칩을 만드는 유력한 기술로 주목
  - 삼성에서 개발한 Aquabolt-XL은 HBM 4개와 연결된 HBM-PIM 구조로 개발
• 하지만, AI 반도체의 궁극적인 목표는 폰 노이만 아키텍처를 벗어난 인간의 뇌신경을 모방한 Neuromorphic Device

 

Neuromorphic divice

 

🌏 AI 반도체는 FPGA와 AISC을 중심으로 NPU를 개발하는 계보와 
PIM을 개발하는 계보로 나뉘어 발전하고 있지만, 
나중에는 둘 다 뇌를 모방한 뉴로모픽 반도체 형태로 발전할 것이라고..

 

 

AI반도체 발전 개념도

미중패권전쟁

• 결국 미래 산업의 핵심 공정인 반도체 제조 등의 분야가 필수적으로 미국이나 중국을 중심으로 한 생태계가 구축될 것으로 보이며
• 우리나라는 자생적인 생태계를 구축하기 위해 각자의 공급 연결망을 확보해 현재 미중 경쟁 체제와 같은 배타적인 상황이 올 때를 대비하는 것이 필요
• 현재 High-end 반도체는 미국의 독주 체제로 이루어지고 있는 상황 미국은 제재를 통해 중국의 반도체 기술력 성장을 막는 중
• 중국의 경우 미국의 제재로 인해 반도체 첨단 장비의 수입에 어려움을 겪고 있고, 이를 국산화하기 위해 노력 중에 있지만 아직 눈에 띄는 성장은 하지 못하고 있는 상황
• 시진핑 2027년까지 대만을 침공할 수 있도록 준비할 것을 군에 지시
  - https://www.mk.co.kr/premium/special-report/view/2022/10/32559/
• 세계 반도체 파운드리 1위 기업 TSMC → 대만
  - TSMC가 중국 기업이 되면 현재 기준 시스템 반도체의 최첨단인 10 나노미터(㎚) 이하 제품 생산의 92%를 중국이..
  - 중국의 전 세계 반도체 산업 점유율은 비약적으로 상승 - 대만 반도체 방패론 → 미국 help
• 대만 섬 점령에 실패한다 해도 최소한 침공 과정에서 대만의 반도체 공장은 파괴될 공산이 매우 크다.

 

부셔버릴거야

• 하지만 이 또한 세계에 재앙이기 때문에 미국은 당연히 어떻게든 이 같은 상황을 막고 싶을 것
  - 내놓은 묘수 중 하나가 바로 칩 4 동맹
  - 미국→ 설계와 제조장치, 대만→ 첨단 파운드리, 한국→ 메모리, 일본→ 제조장치와 재료
  - 대만과 일본의 경우 올해 7월 구상이 발표된 직후 바로 가입 의사를 밝혔고
  - 한국의 경우 가입 쪽으로 기운 상태라고 하지만 중국과의 관계로 인해 아직까지 검토 중
• 중국이 대만을 침공할 시 미국은 대만 내 반도체 기술 인력을 우선 탈출시키는 방안을 고려
  - https://www.sedaily.com/NewsView/26CA7XJCWQ
• 중국이 대만을 점령하게 된다면 미국은 TSMC 공장 시설 파괴를 해 중국 무력 침공을 저지하고 반도체 공장이 중국에 넘어가는 것을 막을 것 (우리 건 아니지만 뺏기느니, 부숴버리겠어.)

투키디데스의 함정

• 신흥 강국이 부상하면 기존의 강대국이 이를 견제하는 과정에서 전쟁이 발생한다
• 예정된 전쟁(그레이엄 엘리슨)에서 지난 500년 동안 신흥국과 패권국이 충돌 16가지 사례
  - 이 중 12번은 전쟁으로 치달았고, 4번은 평화적인 패권 이양이 이루어졌다.
  - 군사력에서는 미국이 아직 압도적인 위치, 경제력은 중국이 20년 안에 미국을 따라잡을 것이라고 전망

남한산성

남한산성

• 명-청 전쟁
  - 언더독이었던 청나라와 탑독이었던 명나라 간 전쟁 그리고 그 사이 끼여 있는 조선..
• 조선의 북측 국경인 압록강을 건너면 당시 여진족이 살고 있던 만주
• 분열된 여진족을 누르하치가 통일 → '후금'을 국호로 하는 새로운 나라를 세웠다

명-청 초기

• 명은 즉각 백성들과 주변국들에게 후금과의 교역을 금지를 알렸다.
  - 뭔가 상황이 점점 비슷해지는 듯
• 경제적 타격을 입은 후금은 결국 먼저 명나라를 공격한다.
• 인조의 친명배금 정책
• 청 조선 침공 → 병자호란
• 척화파
  - 명나라를 섬기는 것이 조선의 도리, 오랑캐와 화친 x
• 주화파
  - 청의 세력이 너무 강대하니 우선 그들의 요구를 들어주자
• 미중패권전쟁의 승자는 누구이고 우리나라에는 어떤 영향을 미치게 될까? ㅎ

Reference

• https://www.nia.or.kr/site/nia_kor/ex/bbs/View.do?cbIdx=82618&bcIdx=25061&parentSeq=25061
• https://www.youtube.com/watch?v=389itBs7YlE
• https://www.youtube.com/watch?v=g9iWYxNfYpo