RAG

Embedding(임베딩)

- 텍스트(문장, 단락, 문서 등)를 고차원 실수 벡터(예: 768차원, 1536차원)로 변환하는 기술 - 이 벡터는 의미적 유사도를 반영하도록 학습되어 있어서, 서로 의미가 비슷한 문장은 벡터 공간에서 가깝다 - 고정 길이 : 모든 문장은 768차원 같은 고정된 벡터로 변환됨 - 의미 기반 거리 : 코사인 유사도(cosine similarity)로 의미적...

HNSW (Hierarchical Navigable Small World graph)

- Hierarchical -> 여러 계층으로 구성됨 - Navigable -> 그래프를 탐색하기 쉬움 - Small World graph -> "작은 세계 네트워크" 구조를 기반으로 함 - (노드들이 멀어 보이지만 몇 개의 링크만 타면 도달 가능) - > 즉, 고차원 벡터를 빠르게 탐색하기 위해 만든 계층적 그래프 알고리즘 ANN(Aproximate Ne...

kNN (k-Nearest Neighbors) 알고리즘

- knn = 어떤 벡터(쿼리)와 가장 가까운 k개의 이웃 벡터를 찾는 알고리즘 - 예를 들어 - 문서 임베딩이 1536차원 벡터로 저장되어 있고 - 사용자가 질문했을 때 질문도 벡터로 변환되면 > "질문 벡터와 가장 가까운 문서 벡터 k개를 찾아라" 라고 하는 과정 - 1. Cosine Similarity(RAG에서 거의 표준) - 각도 기반 유사도 -...

OpenSearch를 VectorStore로 활용하기 위한 가이드

- OpenSearch는 원래 Elasticsearch에서 파생된 검색 엔진 기반 분산 데이터베이스 - 최근에는 벡터 검색(Vector Search) 기능이 강화되어 RAG 시스템에서 많이 쓰임 - 또 다른 활용으로는 추천 시스템, 이상 감지, 자연어 처리 등에도 사용 됨 - 자세한 내용은 - https://opensearch.org/platform/vec...

RAG 기반 '사내 지식 챗봇' 이렇게 구축했습니다

- https://yozm.wishket.com/magazine/detail/3302/ - 많은 기업이 "문서는 많지만 원하는 답을 찾기 어렵다"는 문제를 겪는다 - 이를 해결하기 위해 한 팀은 RAG(Retrieval-Augmented Generation) 시스템을 쿠버네티스 기반으로 구축했다. - Kubeflow 파이프라인으로 문서를 자동 임베딩하고,...

STORM Parse

- Sionic AI의 Intelligent Document Parser - https://www.sionic.ai/ko/parse - 단순히 문서에서 텍스트를 추출하는 것을 넘어서, 문서의 구조와 의미를 이해하고 이를 AI가 효과적으로 활용할 수 있는 형태로 변환하는 것이 핵심목표이다. - 다양한 포맷과 대용량 문서 학습 지원 - PDF, DOCX, XL...

토스 : 100번 실패하고 살려낸 문서 시스템

- 100번 실패하고 살려낸 문서 시스템 - 토스 프론트엔드 개발자들이 더 이상 문서를 찾지 않는 이유 <br /> - 신규 입사자의 경험 - 모르는 지식 : "이건 누구에게 물어봐야 하지" - 복잡한 코드 : "이 기능은 어떻게 동작하는 거지?" - 어려운 맥락 : "이 코드는 왜 이렇게 작성된 거지?" <br /> - 정보가 사람들의 머릿속에...