Llama-3.1-8B-Instruct 모델을 Modal에서 서버리스로 배포하기 작성일자 : 2024년 09월 21일 Modal이란? Modal은 개발자가 복잡한 인프라 관리 없이 클라우드에서 코드를 실행하고 배포할 수 있는 서버리스 클라우드 플랫폼입니다. 모든 코드를 원격으로 빠르게 실행할 수 있고, 수천 개의 컨테이너로 확장할 수 있으며, 간편한 GPU 액세스를 제공합니다. Modal 플랫폼은 AI/ML 작업, 배치 작업, 웹 엔드포인트 등 계산 집약적인 워크로드를 원활하게 실행하며, 주로 AI/ML 모델을 훈련하고 배포하는 데 사용됩니다. Llama-3.1-8B-Instruct 모델을 Modal에서 서버리스로 배포하기 이번 포스트에서는 Llama-3.1-8B-Instruct 모델을 Moda..
