orchestration framework
-
LLM 기반 챗봇 설계, 구조 변화DEV 2024. 11. 7. 21:22
많은 곳에서 LLM을 활용한 챗봇 서비스를 만들고 있는데, 챗봇 개발의 설계, 구조의 흐름이 어떻게 변하고 있는지 조사해 보자.1. LLM api만을 사용2. prompt chainingprompt chaining을 이용SequentialChain, Router Chain → Langchain여러 단계가 필요한 문제 해결과정을 프롬프트를 각 단계로 나누고, 체이닝 하여 해결하는 방식위 구조는 하나의 LLM에게 프롬프트를 여러 단계로 나눠 추론아래 구조는 하나의 제너럴 LLM이 각각 도메인 또는 역할에 맞게 파인튜닝된 LLM에게 추론하도록 하고 추론된 결과를 취합https://www.aitimes.com/news/articleView.html?idxno=153902아래 나오는 agent구조와 더 비슷해 보..
-
LLM기반 chatBot 설계, 구조 변화DEV 2023. 12. 29. 21:25
많은 곳에서 LLM을 활용한 챗봇 서비스가 만들어지고 있다. langchain 코드 예제를 통해 챗봇 개발의 설계, 구조의 흐름이 어떻게 변하고 있는지 조사해 보자. 1. LLM api만을 사용 단순히 LLM에게 하나의 prompt로 질의 약간 아재개그 같지만, 미국에선 먹히는 것 같다. from langchain.chat_models import ChatOpenAI from langchain.prompts import ChatPromptTemplate from langchain_core.output_parsers import StrOutputParser prompt = ChatPromptTemplate.from_template("Tell me a short joke about {topic}") mode..