zero-shot-classification model 성능

performance

허깅페이스에서 zero-shot 모델을 파인튜닝 해봤는데, cpu만 있는 개발 서버에서는 성능이 좀 안 나온다.
개발 장비 내에서 zero-shot-classification model의 성능을 올려보자.

추가 파인튜닝

zero-shot-classification fine-turning

• 이전 글에서 파인튜닝한 모델의 레이블을 6개로 나누어 추가 파인튜닝을 함
  - 방송, 인물, 주식, 환율, 장소, 영화
•  서비스에 붙여보려고 했는데 응답속도가 느리다. (4~5초)
• 사용가능한 자원 내에서 모델 성능을 올릴 수 있는 방법을 찾아보자.

추론에 필요한 자원이 뭐지?

• 딥러닝에는 학습, 추론 단계가 있는데,
  - 학습은 범용적인 데이터를 병렬적으로 처리해야 하기 때문에 GPU를 많이 사용
  - 추론은 적은 수의 GPU만으로도 만족스러운 성능을 낼 수 있지만, LLM은 학습과 추론이 동일한 수준의 리소스 필요
  - 학습 인프라에서 엔비디아 GPU를 대체는 사실상 불가능한 것으로 보임
  - 쿠다, 엔비디아 수준의 학습 성능을 낼 수 있는 하드웨어와 소프트웨어가 없고, 도전자도 없다
• 추론 인프라 부분에서 다른 기업들이 자체 맞춤형 AI칩을 설계 중(NPU)
  - 추론 인프라도 엔비디아가 꽤 많이 점유하고 있긴 하다.
• 아무튼 GPU가 있는 장비가 추론 성능에도 좋은 것 같다.

GPU 개발 장비를 찾아보자

• 당장 여유 자원이 없다.

CPU 장비에서 일단 돌려보자

• 딥러닝 프레임워크, Tensorflow, Pytorch
• Pytorch
  - https://pytorch.org/get-started/locally/

CPU에서 효율적으로 추론하는 방법

• https://huggingface.co/docs/transformers/v4.32.0/en/perf_infer_cpu
  - BetterTransformer
  - Pytorch JIT-mode