직업으로서의 개발자 직업으로서의 개발자

2024.11.10 - [DEV] - vectorDB 없이 검색 api만으로 RAG app만들기 vectorDB 없이 검색api만으로 RAG app만들기이전글 simple RAG pipelineRAGRetrieval augmented generation (RAG: 검색 증강 생성)할루시네이션, 학습되지 않은 최신 데이터, 메모리 이슈해결RAG의 간단한 인덱싱 파이프라인 4단계원본 데이터에서 데이터 로developer-as-job.tistory.com이전글의 추가개선 사항에 대한 이야기Self-Reflective RAG답변 생성 과정 중, 한번의 검색 → 검색된 문서들의 관련성, 정확성에 문제가 있을 가능성 높음품질이 낮은 검색, 생성 결과를 LLM을 사용해 수정질문을 다시 생성하거나 문서를 다시 검색하는..

이전글 simple RAG pipelineRAGRetrieval augmented generation (RAG: 검색 증강 생성)할루시네이션, 학습되지 않은 최신 데이터, 메모리 이슈해결RAG의 간단한 인덱싱 파이프라인 4단계원본 데이터에서 데이터 로딩(load data)큰 문서를developer-as-job.tistory.com advanced RAGRAG overviewNaive RAGhttps://developer-as-job.tistory.com/48 simple RAG pipelineRAGRetrieval augmented generation (RAG: 검색 증강 생성)할루시네이션, 학습되지 않은 최신 데이터, 메모리 이슈해결RAG의 간단한 인덱싱 파이developer-as-job.tistory..

RAG overviewNaive RAGhttps://developer-as-job.tistory.com/48 simple RAG pipelineRAGRetrieval augmented generation (RAG: 검색 증강 생성)할루시네이션, 학습되지 않은 최신 데이터, 메모리 이슈해결RAG의 간단한 인덱싱 파이프라인 4단계원본 데이터에서 데이터 로딩(load data)큰 문서를developer-as-job.tistory.comNaive RAG와 단점검색 - 검색자가 모든 정보를 가져오지 못하거나 잘못된 정보를 가져오는 경우 정확도와 재현율이 낮음증강 - 정보가 여러 청크에서 출처 된 경우, 정보가 분리되어 의미를 잃고 LLM을 혼란스럽게 할 수 있음. 또한 검색된 정보에서 중복 및 반복의 가능성이 매..

RAGRetrieval augmented generation (RAG: 검색 증강 생성)할루시네이션, 학습되지 않은 최신 데이터, 메모리 이슈해결RAG의 간단한 인덱싱 파이프라인 4단계원본 데이터에서 데이터 로딩(load data)큰 문서를 작은 덩어리(chunking)로 나눕니다.청크를 고밀도 임베딩(embedding)으로 변환임베딩을 벡터 데이터베이스(load vectorDB)에 저장합니다.RAG 생성 파이프라인의 3가지 구성요소지식베이스에서 정보를 검색하는검색기(retirever)몇 번의 샷 프롬핑, 사고의 사슬 등과 같은 신속한 엔지니어링 기술을 통해 이루어지는 프롬프트 증강최종 응답 생성을 담당하는 LLM Naive RAGdata crawl → text를 chunk로 분할 → Transforme..

많은 곳에서 LLM을 활용한 챗봇 서비스를 만들고 있는데, 챗봇 개발의 설계, 구조의 흐름이 어떻게 변하고 있는지 조사해 보자.1. LLM api만을 사용2. prompt chainingprompt chaining을 이용SequentialChain, Router Chain → Langchain여러 단계가 필요한 문제 해결과정을 프롬프트를 각 단계로 나누고, 체이닝 하여 해결하는 방식위 구조는 하나의 LLM에게 프롬프트를 여러 단계로 나눠 추론아래 구조는 하나의 제너럴 LLM이 각각 도메인 또는 역할에 맞게 파인튜닝된 LLM에게 추론하도록 하고 추론된 결과를 취합https://www.aitimes.com/news/articleView.html?idxno=153902아래 나오는 agent구조와 더 비슷해 보..

"한빛미디어 서평단 활동을 위해서 책을 제공 받아 작성된 서평입니다."메트릭 vs 로그메트릭: 정해진 기간에 측정한 수치로그: 에러, 경고, 중요 이벤트 등 프로그램 실행 중 일어난 사건을 추적메트릭과 로그를 모두 수집해야 하는 대표적 사례는 애플리케이션의 성능이 나빠지는 경우가령, 애플리케이션을 호시팅한 파드에서 레이턴시(지연시간)가 높게 나타난 경우, 메트릭만으로는 문제를 제대로 파악하기 어렵기 때문에애플리케이션이 기록한 로그를 살펴보며 에러를 조사한다.모니터링 기법폐쇠형 모니터링 (closed-box monitoring)주로 애플리케이션 외부에서 모니터링, 기존 CPU, 메모리, 스토리지 등을 모니터링하는 시스템에서 많이 써온 방식인프라 수준의 컴포넌트를 모니터링할 때는 유용하지만, 애플리케이션이..