0415068801 - Yusup Miftahuddin, S.Kom., MT Dosen Pembimbing 1 KUSDHANI ILHAM / 15-2021-070 Penulis

Penelitian ini mengimplementasikan metode Light Retrieval Augmented Generation (Light RAG) pada Chatbot Assistant Itenas untuk memiliki kemampuan dalam memberikan respons yang relevan. Metode Light RAG yang menggabungkan pencarian berbasis semantik dan graf, dibandingkan dengan metode Naive RAG. Metode ini menggabungkan pencarian berbasis semantik dan graf untuk memberikan pemahaman konteks dalam menjawab pertanyaan yang kompleks. Penelitian ini membandingkan Light RAG yang memiliki metode retrieval local, global, dan hybrid dengan Naive RAG sebagai baseline pada berbagai model Large Language Models (LLM), seperti Gemini 2.0 Flash dan Llama 3.3 70B, menggunakan metrik METEOR, Cosine Similarity, dan BERT Score. Hasil evaluasi menunjukkan bahwa metode Hybrid Light RAG mengungguli relevansi jawaban Naive RAG, pada model Llama 3.3 70B Hybrid Light RAG memiliki nilai tertinggi pada semua metrik evaluasi, dengan nilai METEOR 0.4099, Cosine Similarity 0.5765, dan BERT Score sebesar 0.7752, melampaui Naive RAG yang memperoleh skor 0.4099, 0.5765, dan 0.7633. Namun, untuk model dengan ukuran kecil seperti Llama 3.1 8B, Naive RAG lebih tinggi karena keterbatasan dalam memproses informasi berbasis graf yang kompleks. This study implements the Light Retrieval-Augmented Generation (Light RAG) method in the ITENAS Chatbot Assistant to enhance its ability to provide relevant responses. The Light RAG method combines semantic-based and graph-based retrieval, in comparison to the Naive RAG method. By integrating semantic search with graph-based retrieval, this approach enables better contextual understanding when answering complex questions. The study compares Light RAG, which incorporates local, global, and hybrid retrieval methods, with Naive RAG as a baseline across various Large Language Models (LLMs), such as Gemini 2.0 Flash and Llama 3.3 70B, using the METEOR, Cosine Similarity, and BERT Score metrics. The evaluation results show that the Hybrid Light RAG method outperforms Naive RAG in response relevance. For instance, on the Llama 3.3 70B model, Hybrid Light RAG achieved the highest scores across all evaluation metrics, with a METEOR score of 0.4099, a Cosine Similarity of 0.5765, and a BERT Score of 0.7752, surpassing Naive RAG which scored 0.3665, 0.5313, and 0.7633, respectively. However, for smaller models such as Llama 3.1 8B, Naive RAG performed better due to limitations in processing complex graph-based information.