llm
-
새로운 RAG system Golden-RetrieverDEV 2024. 11. 25. 21:33
RAG2024.11.08 - [DEV] - simple RAG pipeline simple RAG pipelineRAGRetrieval augmented generation (RAG: 검색 증강 생성)할루시네이션, 학습되지 않은 최신 데이터, 메모리 이슈해결RAG의 간단한 인덱싱 파이프라인 4단계원본 데이터에서 데이터 로딩(load data)큰 문서를developer-as-job.tistory.com 기존 LLM 파인튜닝 및 RAG 프레임워크는 특정 분야 전문 용어 및 문맥 해석에 어려움을 겪고 있음.골든 리트리버는 방대한 산업 지식 기반을 효율적으로 탐색하기 위해 설계된 새로운 RAG 시스템으로,기존 RAG 시스템의 도메인 특정 전문 용어 및 문맥 해석과 관련된 문제들을 극복하고자 개발됨.Golden-..
-
LLM으로 프로그래밍DEV 2024. 11. 24. 12:08
애플 연구팀, LLM 추론 능력에 의문 제기애플 연구팀 대규모 언어 모델(LLM)이 진정한 추론 능력을 갖추지 못했다고 주장.https://arxiv.org/pdf/2410.05229토큰 편향: LLM의 출력은 실제 추론보다는 학습된 시퀀스의 친숙도에 더 의존하는 경향. 예를 들어, "린다"라는 이름을 사용한 문제는 LLM이 정확하게 풀지만, "밥"으로 이름을 바꾸면 똑같은 문제임에도 불구하고 틀린 답을 내놓음. 이는 LLM이 추론 과정을 완전히 내면화하지 못하고 단순히 훈련 시퀀스, 즉 "린다"라는 이름이 사용된 문제들을 암기했기 때문이라고 해석할 수 있다. 즉, LLM은 깊은 인간적 추론과 유사한 고차원적 추상화 능력이 부족하다는 것을 보여줌.문제 난이도 증가에 따른 성능 저하: 애플 연구팀은 GSM..
-
ETL, ECL and vector DBDEV 2024. 11. 13. 20:29
이전글2024.11.12 - [DEV] - Chunking in RAG application Chunking in RAG application이전글2024.11.08 - [DEV] - simple RAG pipeline simple RAG pipelineRAGRetrieval augmented generation (RAG: 검색 증강 생성)할루시네이션, 학습되지 않은 최신 데이터, 메모리 이슈해결RAG의 간단한 인덱싱 파이프라인 4developer-as-job.tistory.com ETL → ECL이전글 같은 청킹 전략들이 나오는 이유는 문서에서 컨텍스트를 찾아서 semantic, contextual(의미론적, 맥락적) search을 하기 위함현재 일어나는 AI의 가장 큰 변화는 from data pro..
-
LLM 기반 챗봇 설계, 구조 변화DEV 2024. 11. 7. 21:22
많은 곳에서 LLM을 활용한 챗봇 서비스를 만들고 있는데, 챗봇 개발의 설계, 구조의 흐름이 어떻게 변하고 있는지 조사해 보자.1. LLM api만을 사용2. prompt chainingprompt chaining을 이용SequentialChain, Router Chain → Langchain여러 단계가 필요한 문제 해결과정을 프롬프트를 각 단계로 나누고, 체이닝 하여 해결하는 방식위 구조는 하나의 LLM에게 프롬프트를 여러 단계로 나눠 추론아래 구조는 하나의 제너럴 LLM이 각각 도메인 또는 역할에 맞게 파인튜닝된 LLM에게 추론하도록 하고 추론된 결과를 취합https://www.aitimes.com/news/articleView.html?idxno=153902아래 나오는 agent구조와 더 비슷해 보..
-
뉴스 기사 탐색 챗봇 만들기BOOK 2024. 8. 24. 17:37
"한빛미디어 서평단 활동을 위해서 책을 제공 받아 작성된 서평입니다."기술 키워드자연어자연어(Natural language)는 사람들이 사용하는 언어를 이르는 표현자연어를 컴퓨터가 이해하고 처리할 수 있도록 하는 기술언어 모델언어 모델(Language model)은 단어나 문장, 문단 단위로 자연어 데이터를 입력받은 후, 다음에 올 단어나 문자열을 예측하는 모델초거대 언어 모델초거대 언어 모델(LLM: Large Language Model)은 일반적인 언어 모델보다 훨씬 큰 규모의 언어 모델LLM은 일반적인 언어 모델에 비해 훨씬 많은 파라미터와 방데한 데이터를 학습한 모델, 일반화 성능이 뛰어남GPT 시리즈, Gemini프롬프트, 프롬프트 엔지니어링프롬프트(prompt)는 언어 모델에게 특정 작업을 ..
-
LLM기반 chatBot 설계, 구조 변화DEV 2023. 12. 29. 21:25
많은 곳에서 LLM을 활용한 챗봇 서비스가 만들어지고 있다. langchain 코드 예제를 통해 챗봇 개발의 설계, 구조의 흐름이 어떻게 변하고 있는지 조사해 보자. 1. LLM api만을 사용 단순히 LLM에게 하나의 prompt로 질의 약간 아재개그 같지만, 미국에선 먹히는 것 같다. from langchain.chat_models import ChatOpenAI from langchain.prompts import ChatPromptTemplate from langchain_core.output_parsers import StrOutputParser prompt = ChatPromptTemplate.from_template("Tell me a short joke about {topic}") mode..
-
LLM, Vision pro, SpaceX 그리고 포레스트 검프ETC 2023. 12. 15. 23:07
혁신은 새로 일어났을 때가 아니라 누구나 다 사용을 할 때가 혁신이다. 피터 드러커 chatGPT가 출시 한지 1년.. 세상이 하루가 다르게 변하고 있지만, 아직까지는 모든 사람의 일상에 자리 잡진 못한 것 같습니다. - https://www.aitimes.com/news/articleView.html?idxno=152957 IT 역사의 3개의 터닝포인트(제 생각..) PC, Smartphone 그리고 LLM - 위에서 이야기한 것처럼 PC, Smartphone은 누구나 다 사용을 하고 있지만, 아직 LLM은 모두가 다 사용을 하고 있다고 이야기 하긴 어려울 것 같다. 그럼 LLM의 혁신은 언제 어떻게 올까?? 주관적인 생각이 많이 들어있기 때문에, 가볍게 봐주시고 다른 의견도 많이 주시면 좋을 듯. ㅎ..
-
LangChain에 대하여DEV 2023. 12. 3. 12:06
LangChain의 component소개, 테스트 코드, 그리고 LangChain과 관련된 그 외 프로젝트들... LangChain LangChain is a framework for developing applications powered by language models. 언어 모델이 API를 통해 호출하는 것뿐 아니라 아래의 기능도 수행할 것이라고 믿는다. 1. 외부 데이터 인식 2. 외부 환경과 상호작용 Lang + Chain - LLM에 프롬프트를 채이닝하여 한번에 복잡한 명령을 내릴 수 있는 기능이 핵심인 것 같다. Component Schema, Models, Prompts, Indexes, Memory, Chains, Agents…. Model, Prompts, Output Parsers ..