LLM
LLM RAG구현 과정에서 벡터검색 중 발생하는 정보손실을 줄이기 위한 생각
1. 문제인식벡터검색의 도입은 LLM의 답변에 안정성을 일부 보장해주는 역할을 한다. 사용자가 원하는 임베드 지식을 제공함으로써 환각을 최소화/배제하고 원하는 방향의 답변을 얻어내고자 하는 것이다. 하지만 벡터검색을 도입해 RAG를 구현(https://pypi.org/project/easy-rag-llm) 하면서 몇가지 문제점에 노출되었고 이를 개선해가는 과정을 기록하고자 한다.첫째는 정보손실이다. 내가 easy-rag-llm을 구현한 방식은 다음과 같다: PDF에서 텍스트를 추출하고, 청크를 나눈다. 이때 청크는 나중에 검색의 단위가 되는데, 예를 들어 질문쿼리를 통해 "우주방위군"에 대한 입력을 넣는다면 우주방위군과 상위유사도를 가진 청크를 선별해 llm에 전달하는 것이다. 이때 질문쿼리와 유사한 지..
ThreadPoolExecutor와 asyncio중 무엇을 사용해야할까?
https://pypi.org/project/easy-rag-llm/ https://pypi.org/project/easy-rag-llm/JavaScript is disabled in your browser. Please enable JavaScript to proceed. A required part of this site couldn’t load. This may be due to a browser extension, network issues, or browser settings. Please check your connection, disable any ad blockers, opypi.org 위 라이브러리를 개발하던 중 병렬처리에 대해 고민할 지점이 생겨 이를 기록하고자 한다. 1. 상황개발중..