CD ..
블로그에 AI 챗봇 추가
2026-03-16|build|1 min read|
#AI#Ollama#LLM
AI 요약
이 블로그 포스트는 Ollama 기반 RAG 챗봇을 개발하여 실시간 스트리밍 챗봇 서비스를 구축했다고 설명합니다. Qwen3:8B 모델과 nomic-embed-text를 사용하여 블로그 포스트의 내용을 벡터화하고, 방문자 질문에 대한 검색 및 응답 생성을 위한 시스템을 구축했습니다.
Ollama 기반 RAG 챗봇을 블로그에 통합했습니다. Qwen3:8B 모델을 로컬 GPU(RTX 4070 SUPER)에서 추론하고, nomic-embed-text로 블로그 포스트를 768차원 벡터로 임베딩해 SQLite에 저장합니다. 방문자가 질문하면 cosine similarity로 관련 청크를 검색하고, 컨텍스트와 함께 LLM에 전달해 스트리밍 응답을 생성합니다. SSE 기반 실시간 스트리밍, 세션 히스토리 복원, 피드백 수집, 관리자 분석 대시보드까지 포함된 프로덕션 수준의 챗봇입니다.
댓글 (0)
아직 댓글이 없습니다.