Penipuan online semakin sering terjadi di berbagai platform, dengan para penjahat siber menggunakan teknologi kecerdasan buatan (AI) untuk mengelabui korban. Salah satu modus penipuan terbaru diketahui melibatkan penggunaan tool AI-generative untuk membuat brand dan produk palsu. Tujuannya adalah untuk menipu pengguna agar membeli barang-barang yang pada akhirnya tidak ada. Meskipun jenis penipuan e-commerce seperti ini sudah ada sejak lama, namun dengan adanya AI generative, pelaku kejahatan semakin canggih dalam mengecoh tim moderasi di platform seperti TikTok Shop dan Amazon.
Meski demikian, AI juga telah memberikan keuntungan bagi platform dalam melacak modus penipuan. Amazon contohnya, menggunakan sejumlah perangkat AI yang membantu dalam mendeteksi produk palsu dan daftar yang melanggar aturan di platform mereka. TikTok pun menggabungkan moderasi manusia dan AI untuk mengidentifikasi akun dan iklan palsu. Dengan berbagai alat deteksi internal dan kerjasama dengan perusahaan eksternal, TikTok berusaha mengelola tugas-tugas seperti otentikasi barang mewah bekas.
Meskipun TikTok Shop telah berhasil menolak 70 juta produk dan menghapus 700.000 penjual karena pelanggaran kebijakan dalam 6 bulan pertama tahun 2025, platform ini tetap menghadapi berbagai tantangan, terutama terkait kualitas pasar. Dari Black Friday di AS, TikTok Shop mampu mencatatkan penjualan senilai US$100 juta (Rp1,6 triliun) hanya dalam satu hari. Meskipun platform ini memiliki daftar barang terlarang, penipu tetap berhasil mencari celah untuk menjual produk ilegal.
Fitur e-commerce TikTok Shop sendiri sudah diuji coba sejak 2022 di AS, dan meskipun telah membatasi barang-barang terlarang, penjual cerdik masih bisa lolos dari filter untuk menjual barang seperti sirup THC atau mainan seks. Selain itu, tiruan dari barang-barang terkenal juga menjadi masalah bagi platform ini. Meski begitu, upaya penegakan hukum otomatis TikTok Shop sudah membuat beberapa penjual merasa tidak puas dengan metode tersebut.
