Prompt Engineering

Anthropic Claude API Prompt Caching 사용하기 작성 일자 : 2024년 10월 13일   Anthropic Claude API Prompt Caching 사용하기 Prompt Caching은 반복적인 작업이나 동일한 프롬프트가 있는 요청에 대해, 처리 시간과 비용을 절약할 수 있는 기능입니다.Claude 3.5 Sonnet과 Claude 3 Opus 버전에서는 최소 1024토큰 이상의 프롬프트에 대해 캐싱을 사용할 수 있습니다.Claude 3 Haiku 버전에서는 최소 2048토큰 이상의 프롬프트에 대해 캐싱을 사용할 수 있습니다.Caching된 프롬프트의 TTL은 5분입니다.프롬프트에서 캐시 중단점을 최대 4개까지 정의할 수 있습니다.   Prompt Caching 과정 프..

Llama-3.1-8B-Instruct 모델을 Modal에서 서버리스로 배포하기 작성일자 : 2024년 09월 21일    Modal이란? Modal은 개발자가 복잡한 인프라 관리 없이 클라우드에서 코드를 실행하고 배포할 수 있는 서버리스 클라우드 플랫폼입니다. 모든 코드를 원격으로 빠르게 실행할 수 있고, 수천 개의 컨테이너로 확장할 수 있으며, 간편한 GPU 액세스를 제공합니다. Modal 플랫폼은 AI/ML 작업, 배치 작업, 웹 엔드포인트 등 계산 집약적인 워크로드를 원활하게 실행하며, 주로 AI/ML 모델을 훈련하고 배포하는 데 사용됩니다.   Llama-3.1-8B-Instruct 모델을 Modal에서 서버리스로 배포하기 이번 포스트에서는 Llama-3.1-8B-Instruct 모델을 Moda..

https://minimaxir.com/2023/07/langchain-problem/ The Problem With LangChainLangChain is complicated, so it must be better. Right?minimaxir.com

https://aider.chat/ Homeaider is AI pair programming in your terminalaider.chat

https://www.promptingguide.ai/ Prompt Engineering Guide – NextraA Comprehensive Overview of Prompt Engineeringwww.promptingguide.ai

Code Generation with AlphaCodium(CodiumAI) 논문 작성 일자 : 2024년 07월 21일    본 포스팅에서 다루는 내용AlphaCodium 이란?LLM을 이용한 코드 생성의 어려움테스트에 사용된 데이터셋AlphaCodium의 접근법AlphaCodium의 성능 평가    AlpahCodium 이란? 최근에 AI 기반의 코드 에디터인 Cursor를 사용하면서, 고도로 엔지니어링된 프롬프트가 오고가는 모습을 Chatting 인터페이스에서 자주 보게되는데요. Cursor와 같이 LLM을 코드 생성 전용으로 튜닝하는 방식에 대해 찾아보던 중, AlphaCodium이라는 코드 생성 방식에 대해 알게 되었습니다. 우리는 일반적으로 ChatGPT를 사용하여 리액트 컴포넌트 코드를 생성..