Di dunia yang digerakkan oleh AI saat ini, masalah signifikan yang masih menjadi bayang-bayang adalah kurangnya transparansi. Transparansi AI sangat penting untuk membangun kepercayaan pada sistem AI, terutama yang digunakan dalam aplikasi berisiko tinggi. Ketika para pemangku kepentingan dapat memahami dengan jelas cara kerja sistem AI, mereka lebih cenderung mempercayai keputusannya.

Analisis Komprehensif tentang Transparansi Perusahaan AI

Dalam sebuah upaya kolaboratif antara para peneliti dari Stanford, MIT, dan Princeton, sebuah evaluasi menyeluruh terhadap transparansi di antara para pengembang model yayasan telah mengungkapkan temuan-temuan penting. Inipenilaian yang dilakukan oleh para ahli dari pihak ketiga, menyoroti kondisi transparansi dalam industri AI.

Melalui penilaian tersebut, terungkap bahwa bahkan model dengan skor tertinggi di antara para pengembang model yayasan hanya memperoleh 54 dari 100 poin, menggarisbawahi kurangnya transparansi yang mendasar di industri ini.

Sumber:Stanford MFRC

Transparansi yang Minim di Seluruh Lini

Skor rata-rata di seluruh pengembang hanya mencapai 37%. Yang mengejutkan, hanya 82 dari 100 indikator yang dipenuhi oleh setidaknya satu pengembang, yang menekankan adanya ruang untuk perbaikan dalam standar transparansi. Yang menarik, para pengembang model yayasan terbuka muncul sebagai pelopor, dengan dua dari tiga mencapai nilai tertinggi. Para pengembang terkemuka ini mengizinkan bobot model mereka untuk diunduh, sehingga menjadi tolok ukur transparansi. Stabilitas AI, meskipun bukan open source, berada di posisi keempat.

Perincian Wawasan Berdasarkan Domain dan Subdomain

Penilaian komprehensif ini mendefinisikan 100 indikator yang dikategorikan ke dalam tiga domain penting:

Upstream: Berkaitan dengan pembangunan model pondasi, ini termasuk sumber daya komputasi, data, dan tenaga kerja. Khususnya, para pengembang gagal dalam subdomain data, tenaga kerja, dan komputasi, dengan skor masing-masing hanya 20%, 17%, dan 17%.

Model: Domain ini berfokus pada properti dan fungsi dari model fondasi. Pengembang menunjukkan transparansi di bidang-bidang seperti perlindungan data pengguna (67%), pengembangan model (63%), kapabilitas (62%), dan batasan (60%).

Hilir: Domain ini mempelajari distribusi dan penggunaan model, yang mencerminkan transparansi dalam hal dampak model terhadap pengguna, pembaruan, dan kebijakan yang mengatur.

Sumber:Stanford MFRC

Sumber:Stanford MFRC

Analisis Granular melalui Subdomain

Meskipun para pengembang menunjukkan tingkat transparansi di berbagai subdomain, masih ada ruang yang cukup besar untuk perbaikan. Sebagai contoh, tidak ada satu pun pengembang yang mengungkapkan bagaimana mereka menyediakan akses ke data penggunaan. Sangat sedikit pengembang yang secara terbuka mengakui keterbatasan model mereka atau mengizinkan evaluasi pihak ketiga. Demikian pula, hanya tiga pengembang yang membocorkan komponen model, dan hanya dua yang mengungkapkan ukuran model.

Model Terbuka vs Model Tertutup: Kesenjangan Besar

Perdebatan yang sedang berlangsung di kalangan AI tentang apakah model harus terbuka atau tertutup adalah perdebatan yang sengit. Model terbuka lebih unggul daripada model tertutup, dengan dua dari tiga model terbuka bahkan melampaui model tertutup terbaik. Sebagian besar perbedaan ini berasal dari kurangnya transparansi di antara pengembang tertutup, terutama di domain hulu, terkait data, tenaga kerja, dan detail komputasi.

Sumber:Stanford MFRC

Titik Buta dari Bahaya AI

Artikel ini menimbulkan pertanyaan penting tentang dampak AI pada masyarakat. Seberapa sering chatbot memberikan saran medis yang salah? Apakah mesin pencari AI menuduh seseorang melakukan kesalahan secara keliru? Apakah pengguna terpapar dengan konten bias yang dihasilkan oleh AI? Sayangnya, pertanyaan-pertanyaan ini sering kali tidak terjawab, sehingga menekankan pentingnya transparansi. Selain itu, AI dapat membahayakan dengan membuat konten yang eksplisit, mempromosikan informasi yang salah, dan menghasilkan konten yang tidak diinginkan. Transparansi diperlukan untuk semua kasus ini.

Oleh karena itu, laporan transparansi harus mendefinisikan dan mendeteksi bahaya, mengungkapkan frekuensi konten berbahaya, dan menilai keefektifan mekanisme penegakan hukum dan filter keamanan. Hal ini sangat penting untuk aplikasi AI yang bersifat umum dan berisiko tinggi.

Mengatasi Perlawanan dan Pertimbangan Hukum

Perusahaan dapat menolak pelaporan transparansi karena berbagai alasan, termasuk potensi risiko reputasi dan hukum. Namun, ketiadaan transparansi dapat membahayakan reputasi mereka dalam jangka panjang. Pasar juga terlalu terkonsentrasi, sehingga peningkatan transparansi bermanfaat bagi konsumen dan pasar secara keseluruhan.

Pada akhirnya, jika perusahaan AI gagal merangkul transparansi secara sukarela, para pembuat kebijakan mungkin harus turun tangan untuk memastikan akuntabilitas.