직업으로서의 개발자 직업으로서의 개발자

"한빛미디어 서평단 활동을 위해서 책을 제공 받아 작성된 서평입니다." 파이썬의 큰 장점 중 하나는 일관성. 한동안 파이썬으로 작업하다 보면 감각이 생겨서 새로운 기능도 어떻게 사용할지 예측할 수 있다.그러나 파이썬 이전에 다른 객체지향 언어를 배웠다면 collection.len()이 아닌 len(collection)을 사용하는 게 이상하게 느껴질 것.이런 이상함은 빙산의 일각일 뿐이지만, 제대로 이해해야 소위 말하는 파이썬다운(Pythonic) 경지에 도달할 수 있다. 빙상 전체를 '파이썬 데이터 모델'이라고 하는데, 이 모델이 제공하는 API를 이용해야 직접 정의한 객체에 파이썬 관용구를 적용할 수 있다. 데이터 모델은 파이썬을 설명하는 일종의 프레임워크로 생각할 수 있는데, 시퀀스, 반복자(ite..

Query Translation2024.11.27 - [DEV] - RAG 고급 기법 - Query Translation RAG 고급 기법 - Query TranslationRAG2024.11.08 - [DEV] - simple RAG pipeline simple RAG pipelineRAGRetrieval augmented generation (RAG: 검색 증강 생성)할루시네이션, 학습되지 않은 최신 데이터, 메모리 이슈해결RAG의 간단한 인덱싱 파이프라인 4단계developer-as-job.tistory.com  RAG from scratch: RoutingRAG from scratch: Routing (Logical + Semantic) Lance Martin Software Engineer, L..

RAG2024.11.08 - [DEV] - simple RAG pipeline simple RAG pipelineRAGRetrieval augmented generation (RAG: 검색 증강 생성)할루시네이션, 학습되지 않은 최신 데이터, 메모리 이슈해결RAG의 간단한 인덱싱 파이프라인 4단계원본 데이터에서 데이터 로딩(load data)큰 문서를developer-as-job.tistory.comQuery Translation사용자 쿼리를 LLM이 더 잘 이해하도록 다양한 방식으로 재구성.Multi-Query PromptMulti-Query Prompt는 하나의 질문을 여러 개의 다른 질문으로 변형하여 질문하고, 각 질문에 대한 관련 정보를 찾은 후, 이를 결합하여 최종 답변을 생성하는 전략. 이는 ..

전통적인 RAG 시스템의 한계와 Contextual RetrievalRAG2024.11.08 - [DEV] - simple RAG pipeline simple RAG pipelineRAGRetrieval augmented generation (RAG: 검색 증강 생성)할루시네이션, 학습되지 않은 최신 데이터, 메모리 이슈해결RAG의 간단한 인덱싱 파이프라인 4단계원본 데이터에서 데이터 로딩(load data)큰 문서를developer-as-job.tistory.com 전통적인 RAG 시스템은 대규모 지식 베이스를 활용하여 사용자 쿼리에 대해 보다 정확한 응답을 생성하는 강력한 기술. 그러나 몇 가지 단점이 존재.문맥 손실: 가장 큰 단점은 정보를 인코딩할 때 컨텍스트가 제거된다는 것. 문서가 작은 청크로..

RAG2024.11.08 - [DEV] - simple RAG pipeline simple RAG pipelineRAGRetrieval augmented generation (RAG: 검색 증강 생성)할루시네이션, 학습되지 않은 최신 데이터, 메모리 이슈해결RAG의 간단한 인덱싱 파이프라인 4단계원본 데이터에서 데이터 로딩(load data)큰 문서를developer-as-job.tistory.com 기존 LLM 파인튜닝 및 RAG 프레임워크는 특정 분야 전문 용어 및 문맥 해석에 어려움을 겪고 있음.골든 리트리버는 방대한 산업 지식 기반을 효율적으로 탐색하기 위해 설계된 새로운 RAG 시스템으로,기존 RAG 시스템의 도메인 특정 전문 용어 및 문맥 해석과 관련된 문제들을 극복하고자 개발됨.Golden-..

애플 연구팀, LLM 추론 능력에 의문 제기애플 연구팀 대규모 언어 모델(LLM)이 진정한 추론 능력을 갖추지 못했다고 주장.https://arxiv.org/pdf/2410.05229토큰 편향: LLM의 출력은 실제 추론보다는 학습된 시퀀스의 친숙도에 더 의존하는 경향. 예를 들어, "린다"라는 이름을 사용한 문제는 LLM이 정확하게 풀지만, "밥"으로 이름을 바꾸면 똑같은 문제임에도 불구하고 틀린 답을 내놓음. 이는 LLM이 추론 과정을 완전히 내면화하지 못하고 단순히 훈련 시퀀스, 즉 "린다"라는 이름이 사용된 문제들을 암기했기 때문이라고 해석할 수 있다. 즉, LLM은 깊은 인간적 추론과 유사한 고차원적 추상화 능력이 부족하다는 것을 보여줌.문제 난이도 증가에 따른 성능 저하: 애플 연구팀은 GSM..