<![CDATA[REKONSTRUKSI WAJAH PADA KONDISI OKLUSI MENGGUNAKAN GAN UNTUK MENINGKATKAN KINERJA FACENET DALAM PENGENALAN WAJAH]]>

// <![CDATA[REKONSTRUKSI WAJAH PADA KONDISI OKLUSI MENGGUNAKAN GAN UNTUK MENINGKATKAN KINERJA FACENET DALAM PENGENALAN WAJAH]]> 0420106301 - Dr. Ir. Winarno Sugeng, M.Kom. Dosen Pembimbing 1 120240101 - Diash Firdaus, S.T., M.T. Dosen Pembimbing 2 FARHAN AL FARISI / 152021045 Penulis Pengenalan wajah merupakan teknologi biometrik krusial yang kinerjanya dapat menurun drastis akibat oklusi, seperti penggunaan masker yang masif pasca-pandemi. Tantangan utama bagi model canggih seperti FaceNet adalah kegagalan identifikasi ketika fitur-fitur penting seperti hidung, mulut, dan dagu tertutup, sehingga data biometrik yang esensial menjadi hilang. Untuk mengatasi masalah ini, penelitian ini mengusulkan pendekatan rekonstruksi wajah dua tahap yang mengintegrasikan Generative Adversarial Network (GAN) untuk pemulihan fitur dan FaceNet untuk verifikasi identitas. Arsitektur GAN yang digunakan adalah Pix2Pix, yang pertama-tama dilatih pada 10.000 citra dari dataset publik Labeled Faces in the Wild (LFW) yang dimodifikasi dengan masker sintetis. Evaluasi kuantitatif menunjukkan bahwa model ini berhasil meningkatkan kemiripan identitas secara signifikan, mencapai skor rata-rata Cosine Similarity sebesar 0,7825, sebuah peningkatan substansial dari citra asli bermasker yang hanya memiliki skor 0,6891. Selanjutnya, untuk memvalidasi potensi model pada skenario dunia nyata dengan akurasi tinggi, model juga dilatih pada dataset primer yang terdiri dari 30 pasang citra subjek dengan masker fisik. Pada skenario ini, yang mensimulasikan sistem yang dioptimalkan untuk individu terdaftar, model mampu mencapai fidelitas rekonstruksi yang sangat tinggi dengan skor Cosine Similarity mencapai 0,9447. Secara keseluruhan, penelitian ini membuktikan bahwa pendekatan rekonstruksi berbasis GAN efektif dalam memulihkan integritas fitur wajah baik untuk kasus umum maupun spesifik, yang secara langsung meningkatkan kinerja dan keandalan sistem pengenalan wajah FaceNet pada kondisi beroklusi. Face recognition is a crucial biometric technology whose performance is drastically reduced due to occlusion, such as the widespread use of masks post-pandemic. The main challenge for advanced models like FaceNet is the failure to identify when important features like the nose, mouth, and chin are covered, resulting in the loss of essential biometric data. To address this issue, this study proposes a two-stage facial reconstruction approach that integrates a Generative Adversarial Network (GAN) for feature recovery and FaceNet for identity verification. The GAN architecture used is Pix2Pix, which is first trained on 10,000 images from the modified Labeled Faces in the Wild (LFW) public dataset with synthetic masks. Quantitative evaluation shows that the model successfully improves identity similarity significantly, achieving an average Cosine Similarity score of 0.7825, a substantial improvement from the original masked images, which only had a score of 0.6891. Furthermore, to validate the model's potential in real-world scenarios with high accuracy, the model was also trained on a primary dataset consisting of 30 pairs of subject images with physical masks. In this scenario, which simulates a system optimized for registered individuals, the model achieved very high reconstruction fidelity with a Cosine Similarity score of 0.9447. Overall, this study demonstrates that the GAN-based reconstruction approach is effective in restoring facial feature integrity for both general and specific cases, directly enhancing the performance and reliability of the FaceNet facial recognition system under occlusion conditions.