SUMATERA UTARA — Sebanyak lebih dari 400 aplikasi AI yang menyembunyikan fitur deepfake seksual dan kekerasan lolos dari proses review Apple App Store dan Google Play Store. Investigasi Wired mengungkap jaringan aplikasi yang tampaknya dibuat satu organisasi asal China, memakai taktik bait-and-switch untuk menembus kurasi platform. Temuan ini memicu pertanyaan soal efektivitas pengawasan aplikasi di tengah derasnya konten sintetis berbahaya.
Investigasi majalah Wired menemukan jaringan lebih dari 400 domain dan aplikasi yang saling terhubung, dengan fungsionalitas berbahaya yang disembunyikan. Aplikasi seperti Viefur, yang tampil seolah sebagai layanan menambahkan pakaian pada foto hewan peliharaan, sering mengklaim diri sebagai layanan sehari-hari seperti kursus bahasa atau pelatih kebugaran AI.
Namun saat diakses dalam kondisi tertentu, aplikasi dalam jaringan itu diam-diam memuat antarmuka web yang memungkinkan pembuatan gambar dan video seksual eksplisit menggunakan foto yang diunggah pengguna. Skenario AI yang tersedia mencakup adegan seperti "bedroom rape" dan "threatening knife", di mana seorang pria memegang pisau ke leher perempuan.
Bagaimana Jaringan Aplikasi Ini Bekerja
Wired menyebut jaringan ini "bersembunyi di tempat terbuka" berkat ribuan iklan video yang dipublikasikan di Facebook dan Instagram. Sebagian aplikasi sudah beroperasi sekitar setahun dan lolos review Apple, Google, serta Meta, meski masing-masing punya kebijakan jelas yang melarang konten deepfake berbahaya.
Taktik bait-and-switch dipakai untuk menembus proses review. Aplikasi biasanya menampilkan konten yang tampak aman, tetapi pemeriksaan server bisa mengaktifkan fitur tersembunyi. Mengunduh aplikasi setelah mengetuk iklan fitur deepfake di platform Meta tampaknya menjadi salah satu pemicunya.
Setelah itu, puluhan templat foto dan video pornografi dapat diunduh, dengan kredit yang dibeli untuk menghasilkan deepfake dari foto unggahan pengguna. Foto korban bisa diolah menjadi materi yang berpotensi dipakai untuk mempermalukan atau mengancam.
Respons Apple dan Meta
Apple mencabut 19 aplikasi setelah Wired membagikan detail temuannya. Perusahaan menyatakan pihaknya meninjau setiap aplikasi sebelum terbit, dan aplikasi tersebut mematuhi aturan saat direview.
"Setelah disetujui, pengembangnya mengubah situs web tempat aplikasi menarik konten, mengganti apa yang kami setujui dengan konten pornografi, dan mempromosikannya lewat iklan pornografi yang dihosting di platform pihak ketiga," kata Apple seperti dikutip Wired.
Apple menambahkan pihaknya baru-baru ini memperkuat perlindungan terhadap pendekatan semacam itu. Meta menyatakan telah menindak lebih dari 10.000 akun iklan yang terkait dengan domain berafiliasi aplikasi tersebut.
Mengapa Ini Penting bagi Pengguna Indonesia
Kasus ini menunjukkan celah kurasi aplikasi di tengah gelombang konten sintetis. Bagi pengguna smartphone di Indonesia, aplikasi yang tampak biasa seperti kursus bahasa atau pelatih kebugaran AI bisa menyimpan fungsi berbahaya yang baru aktif setelah dipicu kondisi tertentu.
Pengguna perlu mewaspadai aplikasi yang meminta akses foto tanpa alasan jelas dan berhati-hati mengunduh dari iklan media sosial. Pelaku bisnis digital yang mengandalkan platform distribusi aplikasi juga menghadapi risiko reputasi jika ekosistem dipenuhi aplikasi abal-abal.
Bagi investor startup, temuan ini memperkuat urgensi tata kelola konten dan kepatuhan platform sebagai faktor due diligence. Regulator di berbagai negara, termasuk Indonesia, menghadapi tekanan untuk memperjelas pengawasan atas aplikasi AI generatif yang menyalahgunakan data pengguna.
