RAG vs fine-tuning
Trước RAG, để LLM biết data của bạn → phải fine-tune model. Cost $1000-50000 + technical knowledge. RAG: không train model, chỉ retrieve relevant context khi query → đẩy vào prompt. Cheaper + flexible.
RAG workflow đơn giản
- User hỏi: "Quy trình refund cho khách VIP?"
- Embed câu hỏi thành vector.
- Search vector DB tìm 5 chunks tài liệu gần nhất.
- Đẩy 5 chunks + câu hỏi vào prompt GPT-4.
- GPT-4 trả lời dựa context.
- Return answer + citation (link đến doc gốc).
5 use case phổ biến
1. Chatbot internal knowledge base
Nhân viên hỏi: "Quy trình onboarding khách mới". Bot trả lời dựa SOP nội bộ. Giảm 50-70% câu hỏi cho IT/HR/admin.
2. Customer support
Customer hỏi: "App tôi không login được, password reset thế nào?" Bot trả lời dựa FAQ + troubleshooting guide. 70-85% query resolved without human.
3. Document Q&A cho legal/compliance
Hỏi: "Điều khoản 4.2 hợp đồng X nói gì?" Bot search HĐ + trả lời chính xác đoạn liên quan. Tiết kiệm thời gian lawyer.
4. Sale enablement
Sale hỏi: "Cạnh tranh với sản phẩm X của competitor Y, USP nào quan trọng?" Bot search competitive analysis + objection handling docs.
5. Compliance assistant
Hỏi: "ND13 yêu cầu gì cho data y tế?" Bot search legal docs + policies công ty + trả lời.
Tech stack
- LLM: OpenAI GPT-4o ($2.5/1M token input), Claude 3.5 Sonnet ($3/1M).
- Embedding: OpenAI text-embedding-3-small ($0.02/1M token).
- Vector DB: Pinecone ($70/tháng), Weaviate (open-source), pgvector (Postgres extension, free).
- Orchestration: LangChain, LlamaIndex (open-source frameworks).
- UI: chatbot interface trên web + Slack + Zalo.
Quality optimization
- Chunking strategy: split docs thành chunks 300-500 token, overlap 50 token.
- Re-ranking: retrieve 20 chunks → re-rank chọn top 5 most relevant.
- Hybrid search: combine vector search + keyword search (BM25).
- Citation: link answer back to source doc → user verify.
- Feedback loop: thumbs up/down → improve over time.
Cost cho doanh nghiệp Việt
- Setup + integration: 30-100tr (vendor) hoặc 15-30 giờ in-house dev.
- Vector DB: 0-3tr/tháng cho < 1M chunks.
- LLM API: 1-15tr/tháng tuỳ volume.
- Total: 5-30tr/tháng vận hành.
Sai lầm phổ biến
- Chunk size không đúng — quá nhỏ mất context, quá lớn waste token.
- Vector DB không update khi docs thay đổi — bot trả lời stale info.
- Không có evaluation set — không biết accuracy thật.
- Không citation — user không trust answer.
Doanh nghiệp plan build RAG system? Alodev đã build cho 3 dự án. /lien-he