DEV
-
RAG from scratch - RoutingDEV 2024. 11. 29. 22:13
Query Translation2024.11.27 - [DEV] - RAG 고급 기법 - Query Translation RAG 고급 기법 - Query TranslationRAG2024.11.08 - [DEV] - simple RAG pipeline simple RAG pipelineRAGRetrieval augmented generation (RAG: 검색 증강 생성)할루시네이션, 학습되지 않은 최신 데이터, 메모리 이슈해결RAG의 간단한 인덱싱 파이프라인 4단계developer-as-job.tistory.com RAG from scratch: RoutingRAG from scratch: Routing (Logical + Semantic) Lance Martin Software Engineer, L..
-
RAG 고급 기법 - Query TranslationDEV 2024. 11. 27. 22:15
RAG2024.11.08 - [DEV] - simple RAG pipeline simple RAG pipelineRAGRetrieval augmented generation (RAG: 검색 증강 생성)할루시네이션, 학습되지 않은 최신 데이터, 메모리 이슈해결RAG의 간단한 인덱싱 파이프라인 4단계원본 데이터에서 데이터 로딩(load data)큰 문서를developer-as-job.tistory.comQuery Translation사용자 쿼리를 LLM이 더 잘 이해하도록 다양한 방식으로 재구성.Multi-Query PromptMulti-Query Prompt는 하나의 질문을 여러 개의 다른 질문으로 변형하여 질문하고, 각 질문에 대한 관련 정보를 찾은 후, 이를 결합하여 최종 답변을 생성하는 전략. 이는 ..
-
Anthropic's Contextual RetrievalDEV 2024. 11. 26. 20:54
전통적인 RAG 시스템의 한계와 Contextual RetrievalRAG2024.11.08 - [DEV] - simple RAG pipeline simple RAG pipelineRAGRetrieval augmented generation (RAG: 검색 증강 생성)할루시네이션, 학습되지 않은 최신 데이터, 메모리 이슈해결RAG의 간단한 인덱싱 파이프라인 4단계원본 데이터에서 데이터 로딩(load data)큰 문서를developer-as-job.tistory.com 전통적인 RAG 시스템은 대규모 지식 베이스를 활용하여 사용자 쿼리에 대해 보다 정확한 응답을 생성하는 강력한 기술. 그러나 몇 가지 단점이 존재.문맥 손실: 가장 큰 단점은 정보를 인코딩할 때 컨텍스트가 제거된다는 것. 문서가 작은 청크로..
-
새로운 RAG system Golden-RetrieverDEV 2024. 11. 25. 21:33
RAG2024.11.08 - [DEV] - simple RAG pipeline simple RAG pipelineRAGRetrieval augmented generation (RAG: 검색 증강 생성)할루시네이션, 학습되지 않은 최신 데이터, 메모리 이슈해결RAG의 간단한 인덱싱 파이프라인 4단계원본 데이터에서 데이터 로딩(load data)큰 문서를developer-as-job.tistory.com 기존 LLM 파인튜닝 및 RAG 프레임워크는 특정 분야 전문 용어 및 문맥 해석에 어려움을 겪고 있음.골든 리트리버는 방대한 산업 지식 기반을 효율적으로 탐색하기 위해 설계된 새로운 RAG 시스템으로,기존 RAG 시스템의 도메인 특정 전문 용어 및 문맥 해석과 관련된 문제들을 극복하고자 개발됨.Golden-..
-
LLM으로 프로그래밍DEV 2024. 11. 24. 12:08
애플 연구팀, LLM 추론 능력에 의문 제기애플 연구팀 대규모 언어 모델(LLM)이 진정한 추론 능력을 갖추지 못했다고 주장.https://arxiv.org/pdf/2410.05229토큰 편향: LLM의 출력은 실제 추론보다는 학습된 시퀀스의 친숙도에 더 의존하는 경향. 예를 들어, "린다"라는 이름을 사용한 문제는 LLM이 정확하게 풀지만, "밥"으로 이름을 바꾸면 똑같은 문제임에도 불구하고 틀린 답을 내놓음. 이는 LLM이 추론 과정을 완전히 내면화하지 못하고 단순히 훈련 시퀀스, 즉 "린다"라는 이름이 사용된 문제들을 암기했기 때문이라고 해석할 수 있다. 즉, LLM은 깊은 인간적 추론과 유사한 고차원적 추상화 능력이 부족하다는 것을 보여줌.문제 난이도 증가에 따른 성능 저하: 애플 연구팀은 GSM..
-
Agentic RAGDEV 2024. 11. 22. 20:54
이전글2024.11.15 - [DEV] - AI Agent concept AI Agent conceptAgentAI agent workflow가 올해 엄청난 AI 진전을 이끌 것이라고 생각합니다. 아마도 차세대 기초 모델보다 더 큰 진전이 있을 것입니다.-앤드류 응(Andrew Ng)기업의 대부분(82%)이 1~3년 내에developer-as-job.tistory.com2024.11.16 - [DEV] - AI agent frameworks AI agent frameworks이전글 - AI agent, CoT, ReAct에 대한 설명2024.11.15 - [DEV] - AI Agent concept AI Agent conceptAgentAI agent workflow가 올해 엄청난 AI 진전을 이끌 것이..
-
프로젝트 일정 관리 방법DEV 2024. 11. 21. 21:19
팀 매니저로서 테크리드들에게 프로젝트 계획 중 일부를 수립하도록 요청할 수 있으나, 아마도 그 작업 중 일부는 여러분이 직접 하게 될 가능성이 크다. 어떤 프로젝트를 맡을지, 진행하기로 한 프로젝트를 뒤로 미뤄야 할지를 결정해야 할 수도 있다. 애자일 방식으로 계획하고 반복되는 작업일지라도 언제 완료될 것인지 대략적인 추정을 해야 할 수도 있다.팀원들의 작업량을 성공적으로 관리하기 위해서는 팀의 리듬과 속도에 대해 충분히 이해할 필요가 있지만, 다행히도 도움이 될 만한 손쉬운 방법이 있다.프로젝트 관리에 관한 경험 법칙이 법칙 중 어느 것도 애자일 프로젝트 관리 방법을 대체하지 못한다.대부분의 팀에는 상위 수준인 장기적 목적과 이들 목적을 달성할 수 있는 단기 목표가 있다. 이것들을 실제 작은 단위로 계..
-
마이크로 매니저, 위임하는 매니저DEV 2024. 11. 20. 20:45
마이크로매니지먼트에서 가장 어려운 점은 그렇게 할 때와 하지 않아야 할 때를 구분해야 한다는 점.주니어 개발자는 구체적인 지시를 원한다. 가끔 세부 사항을 확인하고 지시해야 일을 더 잘한다. 하지만 습관처럼 또는 기본방식으로 마이크로 매니저를 사용하면 좋지 않은 결말을 맞게 될 수 있다.신뢰할 것인가 통제할 것인가 는 마이크로매니저에게 중요한 문제다. 업무가 제대로 처리될 거라 믿지 못하거나 당신이 정한 기준으로 결과물을 엄격하게 통제하려 할 때 마이크로매니지먼트를 하게 된다. 이런 상황은 뛰어난 개발자가 특히, 기술적으로 자부심이 강한 개발자가 팀장이 될 때 자주 일어난다.팀에서 당신의 가치가 당신이 잘하는 코딩에서 아직 잘 모르는 사람관리로 바뀌었다면, 팀원들을 자신의 분신처럼 다루고 싶을 수도 있다..