분류 전체보기
-
파트장 잘 하고 있는 건가?BOOK 2025. 6. 21. 12:24
파트장 잘 하고 있는 건가 → 모르겠다. → 책을 읽어보자..구글 엔지니어는 이렇게 일한다.개발 7년차, 매니저 1일차개발자를 넘어 기술 리더로 가는 길육각형 개발자리더십을 향상하는 데 경험이 정말 중요하지만, 경험만으로는 부족하다. 리더십 관련 책을 읽거나 강의를 들을 필요가 있다. 경험은 제한된 상황에서 이뤄지기 때문에 경험하지 못하는 상황이 훨씬 많다.경험에서 부족한 부분을 책과 강의로 채워 나가야 한다.육각형 개발자 p.255오늘날의 엔지니어링 관리자? 좋은 매니저?리더는 주변 사람들을 성장시키고, 팀의 심리적 안전을 개선하고, 팀워크와 협업 문화를 조성하고, 팀 내 긴장을 해소하고, 구글 문화의 가치를 설정하며, 구글을 더 활기차고 신나는 일터로 가꿔야 합니다.구글 엔지니어는 이렇게 일한다. p..
-
파이썬 데이터 모델BOOK 2024. 12. 28. 20:14
"한빛미디어 서평단 활동을 위해서 책을 제공 받아 작성된 서평입니다." 파이썬의 큰 장점 중 하나는 일관성. 한동안 파이썬으로 작업하다 보면 감각이 생겨서 새로운 기능도 어떻게 사용할지 예측할 수 있다.그러나 파이썬 이전에 다른 객체지향 언어를 배웠다면 collection.len()이 아닌 len(collection)을 사용하는 게 이상하게 느껴질 것.이런 이상함은 빙산의 일각일 뿐이지만, 제대로 이해해야 소위 말하는 파이썬다운(Pythonic) 경지에 도달할 수 있다. 빙상 전체를 '파이썬 데이터 모델'이라고 하는데, 이 모델이 제공하는 API를 이용해야 직접 정의한 객체에 파이썬 관용구를 적용할 수 있다. 데이터 모델은 파이썬을 설명하는 일종의 프레임워크로 생각할 수 있는데, 시퀀스, 반복자(ite..
-
RAG from scratch - RoutingDEV 2024. 11. 29. 22:13
Query Translation2024.11.27 - [DEV] - RAG 고급 기법 - Query Translation RAG 고급 기법 - Query TranslationRAG2024.11.08 - [DEV] - simple RAG pipeline simple RAG pipelineRAGRetrieval augmented generation (RAG: 검색 증강 생성)할루시네이션, 학습되지 않은 최신 데이터, 메모리 이슈해결RAG의 간단한 인덱싱 파이프라인 4단계developer-as-job.tistory.com RAG from scratch: RoutingRAG from scratch: Routing (Logical + Semantic) Lance Martin Software Engineer, L..
-
RAG 고급 기법 - Query TranslationDEV 2024. 11. 27. 22:15
RAG2024.11.08 - [DEV] - simple RAG pipeline simple RAG pipelineRAGRetrieval augmented generation (RAG: 검색 증강 생성)할루시네이션, 학습되지 않은 최신 데이터, 메모리 이슈해결RAG의 간단한 인덱싱 파이프라인 4단계원본 데이터에서 데이터 로딩(load data)큰 문서를developer-as-job.tistory.comQuery Translation사용자 쿼리를 LLM이 더 잘 이해하도록 다양한 방식으로 재구성.Multi-Query PromptMulti-Query Prompt는 하나의 질문을 여러 개의 다른 질문으로 변형하여 질문하고, 각 질문에 대한 관련 정보를 찾은 후, 이를 결합하여 최종 답변을 생성하는 전략. 이는 ..
-
Anthropic's Contextual RetrievalDEV 2024. 11. 26. 20:54
전통적인 RAG 시스템의 한계와 Contextual RetrievalRAG2024.11.08 - [DEV] - simple RAG pipeline simple RAG pipelineRAGRetrieval augmented generation (RAG: 검색 증강 생성)할루시네이션, 학습되지 않은 최신 데이터, 메모리 이슈해결RAG의 간단한 인덱싱 파이프라인 4단계원본 데이터에서 데이터 로딩(load data)큰 문서를developer-as-job.tistory.com 전통적인 RAG 시스템은 대규모 지식 베이스를 활용하여 사용자 쿼리에 대해 보다 정확한 응답을 생성하는 강력한 기술. 그러나 몇 가지 단점이 존재.문맥 손실: 가장 큰 단점은 정보를 인코딩할 때 컨텍스트가 제거된다는 것. 문서가 작은 청크로..
-
새로운 RAG system Golden-RetrieverDEV 2024. 11. 25. 21:33
RAG2024.11.08 - [DEV] - simple RAG pipeline simple RAG pipelineRAGRetrieval augmented generation (RAG: 검색 증강 생성)할루시네이션, 학습되지 않은 최신 데이터, 메모리 이슈해결RAG의 간단한 인덱싱 파이프라인 4단계원본 데이터에서 데이터 로딩(load data)큰 문서를developer-as-job.tistory.com 기존 LLM 파인튜닝 및 RAG 프레임워크는 특정 분야 전문 용어 및 문맥 해석에 어려움을 겪고 있음.골든 리트리버는 방대한 산업 지식 기반을 효율적으로 탐색하기 위해 설계된 새로운 RAG 시스템으로,기존 RAG 시스템의 도메인 특정 전문 용어 및 문맥 해석과 관련된 문제들을 극복하고자 개발됨.Golden-..
-
LLM으로 프로그래밍DEV 2024. 11. 24. 12:08
애플 연구팀, LLM 추론 능력에 의문 제기애플 연구팀 대규모 언어 모델(LLM)이 진정한 추론 능력을 갖추지 못했다고 주장.https://arxiv.org/pdf/2410.05229토큰 편향: LLM의 출력은 실제 추론보다는 학습된 시퀀스의 친숙도에 더 의존하는 경향. 예를 들어, "린다"라는 이름을 사용한 문제는 LLM이 정확하게 풀지만, "밥"으로 이름을 바꾸면 똑같은 문제임에도 불구하고 틀린 답을 내놓음. 이는 LLM이 추론 과정을 완전히 내면화하지 못하고 단순히 훈련 시퀀스, 즉 "린다"라는 이름이 사용된 문제들을 암기했기 때문이라고 해석할 수 있다. 즉, LLM은 깊은 인간적 추론과 유사한 고차원적 추상화 능력이 부족하다는 것을 보여줌.문제 난이도 증가에 따른 성능 저하: 애플 연구팀은 GSM..
-
'이토록 친밀한 배신자'라는 제목의 의미ESSAY 2024. 11. 23. 21:16
넷플릭스로 '이토록 친밀한 배신자'를 보았습니다. 꽤 재미있었습니다.대략의 줄거리는 프로파일러 아버지와, 아버지를 포함한 다른 경찰들에게 살인 용의자로 의심받는 딸 장하빈의 이야기입니다.범인을 추적하는 과정의 긴장감도 좋았지만,믿는다는 것은 무엇인지, 드라마 속 여러 등장인물들 각각의 입장에서 조금씩 다른 각도로 생각해 보게 되어 좋았습니다.등장인물들 모두가 저마다의 이유로 상대를 믿거나 믿지 못하고, 믿음이 틀릴 때도 있고, 의심이 맞을 때도 있었습니다. 드라마를 다 보고 나니 떠오른 궁금증은 제목의 의미였습니다.'이토록 친밀한 배신자'라는 제목이 무엇을 뜻하는지 이해하지 못한 채, 읽고 있던 소설 '양손에 토카레프'에서 우연찮게 그 의미에 대한 힌트를 얻게 되었습니다. 아니, 힌트라기보다는 답을 ..