Implementasi Large Language Models Menggunakan Framework Langchain pada Question Answering System
Muhammad, Fariz Ramadhan (2025) Implementasi Large Language Models Menggunakan Framework Langchain pada Question Answering System. Skripsi thesis, Universitas Tanjungpura.
|
PDF (Cover-Bab1)
Cover-Bab1_D1041211059.pdf - Published Version Download (1MB) |
|
|
PDF (D1041211059_MUHAMMAD_FARIZ_RAMADHAN)
D1041211059_MUHAMMAD_FARIZ_RAMADHAN.pdf - Accepted Version Restricted to Repository staff only Download (3MB) |
Abstract
Informasi yang telah beredar luas dapat diperoleh dengan berbagai cara, salah satunya dengan bertanya kepada seseorang yang telah mengetahui informasi tersebut sebelumnya. Meskipun demikian, permasalahan terjadi saat seseorang yang mengetahui informasi tersebut tidak tersedia, sehingga memperoleh informasi dilakukan dengan cara membaca dokumen pedoman yang membutuhkan waktu lebih lama. Salah satu contohnya yaitu seseorang yang ingin mengetahui isi pedoman akademik Universitas Tanjungpura. Pedoman akademik merupakan dokumen yang berisi aturan, prosedur, dan informasi penting mengenai suatu institusi pendidikan. Teknologi saat ini telah berkembang untuk menyelesaikan masalah tersebut, salah satunya dengan membangun Question Answering System (QAS) yang dapat menjawab pertanyaan berdasarkan informasi aktual. Penelitian ini mengimplementasikan Large Language Models (LLM) dalam mengembangkan QAS menggunakan framework LangChain dengan pendekatan retrieval-augmented generation (RAG). Framework LangChain mempermudah proses pengembangan aplikasi yang memanfaatkan LLM. Proses yang diimplementasikan meliputi pembacaan dokumen PDF, pemisahan dokumen menjadi potongan (chunks), serta proses embedding dan penyimpanan ke dalam basis data vektor menggunakan Pinecone. LLM yang digunakan dalam pengujian yaitu llama3:8B (4.7GB), deepseek-r1:8B (5.2GB), dan phi-4:14B (9.1GB). Evaluasi sistem dilakukan menggunakan metrik ROUGEScore dan BERTScore, dengan hasil terbaik ditunjukkan oleh llama3:8B yang memperoleh skor ROUGE-1 sebesar 0,33 (33%), ROUGE-2 sebesar 0,243 (24%), dan BERTScore sebesar 0,73 (73%) dibandingkan dengan 2 model lainnya yaitu deepseek-r1:8b memperoleh skor ROUGE-1 sebesar 0,259 (25%), ROUGE-2 sebesar 0,154 (15%), dan BERTScore sebesar 0,689 (68%) dan phi-4:14b memperoleh skor ROUGE-1 sebesar 0,28 (28%), ROUGE-2 sebesar 0,208 (20%), dan BERTScore sebesar 0,722 (72%). Berdasarkan hasil evaluasi tersebut. llama3 dipilih sebagai LLM untuk QAS pedoman akademik karena mampu dalam menjawab pertanyaan berdasarkan dokumen dibandingkan 2 LLM lainnya. Kemudian dilakukan juga pengujian User Acceptance Testing (UAT) dengan 15 responden, yang menghasilkan rata-rata skor 3,96 atau setara dengan 79,2%. Hal tersebut menunjukkan kesimpulan bahwa sistem QAS diterima oleh pengguna karena dapat memberikan informasi dengan mudah, relevan, dan bermanfaat.
| Item Type: | Thesis (Skripsi) | ||||||
|---|---|---|---|---|---|---|---|
| Creators: |
|
||||||
| Subjects: | 000 - Komputer, Informasi dan Referensi Umum > 000 Ilmu komputer, ilmu pengetahuan dan sistem-sistem > 005 Pemrograman komputer, program dan data | ||||||
| Divisions: | Fakultas Teknik > Teknik Informatika S1 | ||||||
| SWORD Depositor: | Rudiarti Rudiarti | ||||||
| Depositing User: | Rudiarti Rudiarti | ||||||
| Date Deposited: | 08 Sep 2026 02:30 | ||||||
| Last Modified: | 08 Sep 2026 02:30 | ||||||
| URI: | https://repository.untan.ac.id/id/eprint/8068 |
Actions (login required)
![]() |
View Item |
