10 April itu hari yang sangat buruk dalam kehidupan gamer selebriti dan YouTuber Atrioc (Brandon Ewing). Ewing sedang menyiarkan salah satu streaming langsung Twitch yang biasa dia lakukan ketika jendela browsernya secara tidak sengaja terekspos ke audiensnya. Selama beberapa saat itu, pemirsa tiba-tiba bertatap muka dengan apa yang tampak seperti video porno deepfake yang menampilkan YouTuber dan gamer wanita QTCinderella dan Pokimane — rekan kerja dan, menurut pemahaman saya, Ewing’s teman-teman. Beberapa saat kemudian, seorang penonton yang cerdik mengunggah tangkapan layar dari adegan tersebut ke Reddit, dan dengan demikian skandal itu menjadi fakta.

Deepfakes merujuk secara luas ke media yang direkayasa oleh AI, umumnya untuk menempatkan wajah seseorang ke wajah, katakanlah, aktor dalam movie atau klip video. Namun sayangnya, seperti yang dilaporkan oleh Wakil jurnalis Samantha Cole, fungsi utamanya adalah untuk membuat movie porno yang dibintangi oleh selebritas wanita, dan mungkin yang lebih mengkhawatirkan, untuk memvisualisasikan fantasi seksual teman atau kenalan. Mengingat kecanggihan dan ketersediaannya yang semakin meningkat, siapa pun yang memiliki foto wajah Anda sekarang pada dasarnya dapat mengubahnya menjadi porno. “Kita semua kacau,” seperti yang dikatakan Cole dengan singkat.

Bagi kebanyakan orang, saya percaya, jelas bahwa Ewing melakukan semacam pelanggaran dalam mengonsumsi pornografi fiktif namun nonkonsensual dari teman-temannya. Memang, komentar di Reddit, dan reaksi kuat (yang dibenarkan) dari para wanita yang wajahnya digunakan dalam klip, membuktikan rasa jijik yang mendalam. Ini bisa dimengerti, namun menentukan dengan tepat di mana kejahatan itu berada adalah pekerjaan yang sangat sulit. Faktanya, tugas untuk melakukannya mengedepankan masalah filosofis yang memaksa kita untuk mempertimbangkan kembali tidak hanya pornografi, tetapi juga sifat imajinasi manusia. Saya menyebutnya dilema cabul.

Di satu sisi, orang mungkin berargumen bahwa dengan mengonsumsi materi tersebut, Ewing memberi insentif pada produksi dan penyebarannya, yang pada akhirnya dapat merusak reputasi dan kesejahteraan sesama gamer wanita. Tapi saya ragu putusan di mata publik akan jauh lebih lembut seandainya dia memproduksi video dengan tangannya sendiri untuk kesenangan pribadi. Dan hanya sedikit orang yang melihat kegagalannya menutup tab sebagai masalah utama. Kejahatannya, tampaknya terletak pada konsumsi deepfake itu sendiri, bukan efek hilir dari melakukannya. Mengonsumsi deepfake itu salah, berhenti whole, terlepas dari apakah orang yang “membintangi” klip tersebut, atau siapa pun, mengetahuinya.

Pada saat yang sama, kami sama-sama yakin bahwa fantasi seksual itu netral secara ethical. Memang, tidak seorang pun (kecuali mungkin beberapa umat Katolik garis keras) akan menyalahkan Ewing karena membuat gambar-gambar porno QTCinderella dalam pikirannya. Tapi apa bedanya, sungguh? Fantasi dan deepfake pada dasarnya adalah gambar digital yang dihasilkan oleh enter information sebelumnya, hanya satu yang ada di kepala seseorang, yang lainnya ada di layar. Benar, yang terakhir dapat lebih mudah dibagikan, tetapi jika kejahatannya terletak pada konsumsi pribadi, dan bukan efek eksternal, ini seharusnya tidak relevan. Oleh karena itu dilema orang cabul: Kami pikir fantasi seksual baik-baik saja selama mereka hanya dihasilkan dan terkandung di kepala seseorang, dan menjijikkan saat mereka ada di otak dengan bantuan representasi yang agak realistis — namun kami berjuang untuk mengidentifikasinya secara ethical. perbedaan yang relevan untuk membenarkan penilaian ini.

Dalam jangka panjang, kemungkinan hal ini akan memaksa kita untuk mengevaluasi kembali sikap ethical kita terhadap deepfake dan fantasi seksual, setidaknya sejauh kita ingin menjaga konsistensi moralitas kita. Ada dua cara yang jelas di mana ini bisa terjadi.