lcel
-
simple RAG pipelineDEV 2024. 11. 8. 21:10
RAGRetrieval augmented generation (RAG: 검색 증강 생성)할루시네이션, 학습되지 않은 최신 데이터, 메모리 이슈해결RAG의 간단한 인덱싱 파이프라인 4단계원본 데이터에서 데이터 로딩(load data)큰 문서를 작은 덩어리(chunking)로 나눕니다.청크를 고밀도 임베딩(embedding)으로 변환임베딩을 벡터 데이터베이스(load vectorDB)에 저장합니다.RAG 생성 파이프라인의 3가지 구성요소지식베이스에서 정보를 검색하는검색기(retirever)몇 번의 샷 프롬핑, 사고의 사슬 등과 같은 신속한 엔지니어링 기술을 통해 이루어지는 프롬프트 증강최종 응답 생성을 담당하는 LLM Naive RAGdata crawl → text를 chunk로 분할 → Transforme..