-
LLM 기반 챗봇 설계, 구조 변화DEV 2024. 11. 7. 21:22
많은 곳에서 LLM을 활용한 챗봇 서비스를 만들고 있는데, 챗봇 개발의 설계, 구조의 흐름이 어떻게 변하고 있는지 조사해 보자.1. LLM api만을 사용2. prompt chainingprompt chaining을 이용SequentialChain, Router Chain → Langchain여러 단계가 필요한 문제 해결과정을 프롬프트를 각 단계로 나누고, 체이닝 하여 해결하는 방식위 구조는 하나의 LLM에게 프롬프트를 여러 단계로 나눠 추론아래 구조는 하나의 제너럴 LLM이 각각 도메인 또는 역할에 맞게 파인튜닝된 LLM에게 추론하도록 하고 추론된 결과를 취합https://www.aitimes.com/news/articleView.html?idxno=153902아래 나오는 agent구조와 더 비슷해 보..
-
쿠버네티스 모니터링BOOK 2024. 10. 26. 10:47
"한빛미디어 서평단 활동을 위해서 책을 제공 받아 작성된 서평입니다."메트릭 vs 로그메트릭: 정해진 기간에 측정한 수치로그: 에러, 경고, 중요 이벤트 등 프로그램 실행 중 일어난 사건을 추적메트릭과 로그를 모두 수집해야 하는 대표적 사례는 애플리케이션의 성능이 나빠지는 경우가령, 애플리케이션을 호시팅한 파드에서 레이턴시(지연시간)가 높게 나타난 경우, 메트릭만으로는 문제를 제대로 파악하기 어렵기 때문에애플리케이션이 기록한 로그를 살펴보며 에러를 조사한다.모니터링 기법폐쇠형 모니터링 (closed-box monitoring)주로 애플리케이션 외부에서 모니터링, 기존 CPU, 메모리, 스토리지 등을 모니터링하는 시스템에서 많이 써온 방식인프라 수준의 컴포넌트를 모니터링할 때는 유용하지만, 애플리케이션이..
-
소프트웨어 설계 접근법BOOK 2024. 9. 28. 10:43
"한빛미디어 서평단 활동을 위해서 책을 제공 받아 작성된 서평입니다."외부 설계와 내부 설계모두에게 통용되는 설계 구분 방법은 없지만 이 책에서는 '외부 설계, 내부설계'로 나누고 있음외부 설계 - 기본 설계, 기능 설계, 개요 설계시스템이 제공해야 하는 기능을 구체적으로 설계하는 작업시스템 사용자나 외부 시스템에 제공하는 기능이나 인터페이스가 해당내부 설계 - 상세 설계, 프로그램 설계외부 설계에서 결정된 입출력으로 내부 설계에서는 입력과 출력 사이에서 이뤄지는 내부 처리 설계구체적인 소프트웨어 내부 설계와 데이터 처리 방법, 관리 방법, 병렬 처리 방법, 트랜젝션 방법 설계 외부 설계와 내부 설계의 차이점외부 설계는 시스템의 구체적인 기능을 설계하는 작업시스템이 사용자나 외부 시스템에 제공하는 기능..
-
뉴스 기사 탐색 챗봇 만들기BOOK 2024. 8. 24. 17:37
"한빛미디어 서평단 활동을 위해서 책을 제공 받아 작성된 서평입니다."기술 키워드자연어자연어(Natural language)는 사람들이 사용하는 언어를 이르는 표현자연어를 컴퓨터가 이해하고 처리할 수 있도록 하는 기술언어 모델언어 모델(Language model)은 단어나 문장, 문단 단위로 자연어 데이터를 입력받은 후, 다음에 올 단어나 문자열을 예측하는 모델초거대 언어 모델초거대 언어 모델(LLM: Large Language Model)은 일반적인 언어 모델보다 훨씬 큰 규모의 언어 모델LLM은 일반적인 언어 모델에 비해 훨씬 많은 파라미터와 방데한 데이터를 학습한 모델, 일반화 성능이 뛰어남GPT 시리즈, Gemini프롬프트, 프롬프트 엔지니어링프롬프트(prompt)는 언어 모델에게 특정 작업을 ..
-
회의 요약 보고서 작성법BOOK 2024. 7. 25. 07:48
"한빛미디어 서평단 활동을 위해서 책을 제공 받아 작성된 서평입니다."회의 요약 보고서설문에 따르면 일주일에 평균 3회 이상의 회의를 하는 경우가 52%, 5회 이상이 21%나 된다.1. find the exact Aim논의 내용에 대한 이해도가 같음을 확인. 구두로 이야기한 것이기 때문에 차후 회의 때와는 다르게 말을 변경할 경우 팀, 부서 나아가 회사에 불리한 상황이 발생할 수 있어 증거 자료로 활용 가능회의 시 해결되지 않았거나 의견 차이가 있어 결론이 나지 않은 부분에 대한 내용 확인차후 후속 조치 또는 의사결정을 위한 정보 제공 및 내용 공유미팅에 참석하지 않은 사람 중 해당 미팅 내용을 알아야 하는 사람에게 공유 가능2. 중요 작성 포인트자신의 의견보다는 회의 요약으로 회의의 사실적 내용을 ..
-
블록체인과 해쉬DEV 2024. 7. 21. 20:17
라이스톤태평양 한가운데 있는 미크로네시아의 얍(Yap) 섬에는 라이스톤(Rai stones)이라는 가운데가 뚫린 거대한 돌이 전통적 화폐로 사용된다.이 돌들은 가로길이가 약 3미터에 이르고 픽업트럭정도의 무게가 나간다.얍 마을에는 수십 개의 라이스톤이 흩어져 있다.사람들은 이 돌들을 갖고 다니면서 쓸 수 없기 때문에 얍 섬의 사람들은 모두가 각 돌의 주인이 누구인지를 기억하며,지난 거래에 대한 기록을 머릿속에 남긴다.예를 들어 족장의 딸이 목수에게 배 한 척을 사고자 한다면, 그녀는 자신이 소유한 라이스톤 한 개가 목수의 것이 되었다고 마을 사람들에게 알린다. 그러면 마을 사람들은 족장의 딸이 목수에게 라이스톤 한 개를 주었다고 서로 간에 말을 퍼뜨린다.다음에 목수가 다른 사람에게 그 돌을 주고 싶어 할..