Ketika sebuah pekerjaan mulai dapat dikerjakan oleh AI, yang berpindah bukan hanya pekerjaan. Sebagian proses pengambilan keputusan juga ikut berubah. Sebuah ringkasan dapat dibuat AI. Sebuah analisis dapat dibantu AI. Sebuah rekomendasi dapat dihasilkan AI. Bahkan, pada konteks tertentu, AI dapat membantu menjalankan bagian dari suatu proses kerja.

Namun, ketika hasil tersebut keliru, tidak lengkap, atau digunakan di luar konteksnya, satu hal tetap kembali kepada manusia: tanggung jawab.

Persoalan ini menjadi semakin penting karena perkembangan AI yang pesat menuntut kebiasaan dan sistem pengelolaan yang menyertainya. AI memang dapat meningkatkan produktivitas. Namun, kemampuan menghasilkan sesuatu tidak otomatis berarti memiliki kewenangan untuk menentukan apakah sesuatu itu layak digunakan. Karena itu, ketika AI mulai bekerja, yang perlu dibangun bukan hanya kemampuan teknologinya, tetapi juga cara kerja yang membuat penggunaannya tetap dapat dipertanggungjawabkan.

Ketika kemampuan bertambah, risiko tidak otomatis berkurang

AI sering dibicarakan melalui ukuran kemampuannya. Semakin baik model memahami bahasa, semakin banyak pekerjaan yang dapat dibantu. Semakin cepat AI menghasilkan keluaran, semakin besar pula potensi efisiensi yang ditawarkan. Namun, kemampuan dan kepercayaan bukanlah hal yang sama.

NIST melalui Artificial Intelligence Risk Management Framework (AI RMF) memandang AI sebagai sistem yang bersifat sosioteknis (National Institute of Standards and Technology [NIST], 2023). Risiko AI tidak hanya berasal dari aspek teknis, tetapi juga dari perilaku manusia, cara sistem digunakan, interaksinya dengan sistem lain, serta konteks sosial tempat sistem tersebut diterapkan. Risiko dapat berdampak pada individu, kelompok, organisasi, masyarakat, hingga lingkungan.

Cara pandang ini mengubah pertanyaan kita. Jika AI dipandang hanya sebagai perangkat lunak, perhatian mudah terpusat pada apakah model bekerja dengan baik. Namun, jika AI dipandang sebagai bagian dari sistem sosioteknis, persoalannya melebar: sistem secara keseluruhan perlu dirancang agar hasil AI benar-benar digunakan dengan tepat.

Di sinilah persoalan tanggung jawab mulai terlihat. Sebuah model dapat memiliki kemampuan yang tinggi, tetapi penggunaannya tetap berlangsung dalam lingkungan yang memiliki tujuan, aturan, data, manusia, dan konsekuensi. AI yang semakin mampu tidak dengan sendirinya menjadi AI yang semakin dapat dipercaya.

Masalahnya bukan hanya AI bisa salah

Kesalahan keluaran memang merupakan salah satu risiko. Namun, penggunaan large language model (LLM) juga dapat menghadirkan bentuk kegagalan lain. Sebuah kajian mengenai risiko keamanan aplikasi LLM (Fasha dkk., 2024) yang merujuk pada daftar OWASP (Open Web Application Security Project), misalnya, menguraikan risiko seperti prompt injection, sensitive information disclosure, excessive agency, dan overreliance, di samping sejumlah risiko lainnya.

Keempat contoh tersebut menunjukkan pola yang sama. Prompt injection berkaitan dengan bagaimana sistem menerima dan memperlakukan instruksi. Sensitive information disclosure berkaitan dengan pengungkapan informasi sensitif pada keluaran sistem. Excessive agency berkaitan dengan kewenangan yang diberikan kepada sistem. Sementara overreliance berkaitan dengan kecenderungan manusia terlalu percaya pada keluaran AI.

Dengan demikian, persoalannya tidak selalu berbentuk: “AI memberikan jawaban yang salah”. Persoalannya dapat muncul dari apa yang diberikan kepada AI, informasi apa yang diproses, kewenangan apa yang diberikan, dan seberapa jauh manusia mempercayai hasilnya. Ini perbedaan yang penting. Risiko tidak hanya ditentukan oleh kemampuan model, tetapi juga oleh lingkungan tempat kemampuan itu digunakan.

Di titik inilah manusia tidak boleh hilang

Ada godaan untuk melihat otomatisasi sebagai perpindahan tanggung jawab. Godaan itu berbentuk anggapan begini: jika AI yang membuat analisis, AI pulalah yang dianggap bertanggung jawab atas analisis itu; jika AI yang menghasilkan rekomendasi, keputusan yang mengikuti dianggap sebagai konsekuensi dari sistem, bukan dari manusia yang memakainya. Logika tersebut menjadi bermasalah ketika AI digunakan dalam proses organisasi.

AI tidak dengan sendirinya menentukan tujuan organisasi, tingkat risiko yang dapat diterima, atau batas kewenangan yang diberikan kepadanya. Semua itu bergantung pada manusia dan organisasi yang merancang serta menggunakan sistem tersebut (NIST, 2023).

Karena itu, peran manusia tidak selesai ketika AI mulai menghasilkan jawaban. Justru pada titik itulah penilaian manusia menjadi penting.

NIST mengorganisasi pengelolaan risiko AI melalui empat fungsi: GOVERN, MAP, MEASURE, dan MANAGE (NIST, 2023). Fungsi tersebut membantu organisasi mengatur tata kelola, memahami konteks dan risiko, mengukur risiko, serta mengelolanya.

Bila kita menafsirkannya, pesannya bukan bahwa manusia harus memeriksa setiap hal secara manual. Pesannya adalah bahwa penggunaan AI membutuhkan mekanisme yang jelas mengenai siapa yang menetapkan batas, siapa yang memeriksa, dan bagaimana risiko dikelola. Dengan kata lain, prinsip akuntabilitas tidak cukup diletakkan pada sikap pengguna. Prinsip tersebut harus diterjemahkan ke dalam desain proses.

Akuntabilitas harus terlihat dalam cara kerja

Prinsip tanggung jawab mudah berubah menjadi slogan jika tidak diterjemahkan ke dalam proses.

Di Indonesia, Surat Edaran Menteri Komunikasi dan Informatika Nomor 9 Tahun 2023 tentang Etika Kecerdasan Artifisial menempatkan etika sebagai acuan bagi pelaku usaha dan penyelenggara sistem elektronik, termasuk dalam penyusunan kebijakan internal mengenai data dan etika AI (Kementerian Komunikasi dan Informatika Republik Indonesia, 2023). Dokumen tersebut juga menekankan kehati-hatian, keselamatan, dan orientasi pada dampak positif dalam penyelenggaraan AI (Kementerian Komunikasi dan Informatika Republik Indonesia, 2023).

Prinsip itu perlu diterjemahkan ke bentuk konkret ketika masuk ke pekerjaan sehari-hari. Contoh konkret dapat dilihat dalam Pedoman Keamanan Penggunaan Teknologi Generative Artificial Intelligence (GenAI) DJKN 2026.

Dalam pedoman tersebut, GenAI ditempatkan sebagai alat bantu. Setiap keluaran yang dihasilkan wajib diverifikasi, divalidasi, dan ditelaah oleh pegawai yang berwenang sebelum digunakan atau dijadikan dasar dalam pengambilan keputusan. Tanggung jawab atas hasil analisis, rekomendasi, dan keputusan pada umumnya tetap berada pada pengguna atau pejabat yang berwenang (Direktorat Jenderal Kekayaan Negara, Kementerian Keuangan Republik Indonesia, 2026).

Di sini prinsip akuntabilitas memperoleh bentuk yang konkret.

Bukan sekadar:

“Manusia tetap bertanggung jawab.”

Melainkan:

“Ada proses yang harus dilakukan manusia sebelum keluaran AI digunakan.”

Pedoman tersebut juga menerapkan prinsip minimal disclosure: pengguna hanya boleh memberikan data, informasi, atau konteks yang benar-benar diperlukan dan relevan agar GenAI dapat membantu menyelesaikan tugas (Direktorat Jenderal Kekayaan Negara, Kementerian Keuangan Republik Indonesia, 2026).

Artinya, akuntabilitas dimulai bahkan sebelum AI menghasilkan jawaban.

Tata kelola dimulai sebelum AI menjawab

Sering kali perhatian terhadap AI terlalu terpusat pada hasil yang keluar. Perhatian itu biasanya berhenti pada apakah jawabannya benar, apakah analisisnya masuk akal, dan apakah rekomendasinya dapat digunakan. Padahal, tata kelola sudah mulai bekerja lebih awal, yaitu pada saat kita menentukan informasi apa yang diberikan kepada AI.

Pedoman DJKN membedakan data dan informasi menjadi klasifikasi Terbuka, Terbatas, dan Tertutup. Informasi terbuka dapat digunakan dengan GenAI. Informasi terbatas tidak diperbolehkan untuk dimasukkan, diunggah, dibagikan, atau diproses menggunakan GenAI tanpa kendali keamanan yang memadai; pengecualian diberikan bagi GenAI yang dikelola oleh internal Kementerian Keuangan, dengan jaminan bahwa data dan informasi tersebut tidak dimanfaatkan di luar lingkungan kendali Kementerian Keuangan, serta dengan menerapkan kendali keamanan yang memadai, misalnya anonimisasi, agregasi, atau penyamaran. Sementara informasi tertutup tidak diperbolehkan untuk dimasukkan, diunggah, dibagikan, atau diproses menggunakan GenAI (Direktorat Jenderal Kekayaan Negara, Kementerian Keuangan Republik Indonesia, 2026).

Pedoman tersebut juga memberikan contoh teknik seperti anonimisasi, generalisasi, dan masking untuk melindungi informasi sensitif (Direktorat Jenderal Kekayaan Negara, Kementerian Keuangan Republik Indonesia, 2026).

Dari praktik tersebut, satu prinsip menjadi jelas: Tata kelola AI dimulai sebelum AI menghasilkan jawaban. Ia dimulai ketika seseorang memutuskan informasi apa yang boleh masuk ke sistem. Karena itu, penggunaan AI yang bertanggung jawab membutuhkan disiplin pada dua sisi: input yang tepat dan output yang diperiksa.

Tanggung jawab juga perlu hadir sepanjang proses: sebelum AI bekerja, kita menentukan informasi dan kewenangan yang boleh diberikan; ketika AI bekerja, kita memastikan penggunaannya berada dalam konteks dan batas yang tepat; setelah keluaran dihasilkan, kita memeriksa, menilai, dan memperbaiki proses bila diperlukan.

Etika yang tidak masuk ke proses akan mudah menjadi slogan

Prinsip etika penting. Namun, prinsip saja tidak cukup.

Penggunaan teknologi yang bertanggung jawab tidak pernah berhenti pada aturan yang dibuat di awal.

Ada pelaksanaan.

Ada pengawasan.

Ada evaluasi.

Dan ketika ditemukan masalah, ada kebutuhan untuk memperbaiki cara kerja.

Itulah yang membedakan tata kelola dari sekadar deklarasi nilai.

Kita tidak cukup mengatakan bahwa AI harus digunakan secara bertanggung jawab. Kita perlu dapat menunjukkan di mana tanggung jawab itu bekerja dalam proses.

Tata kelola bukan rem terhadap AI

Ada kekhawatiran bahwa semakin banyak kontrol berarti semakin lambat inovasi.

Kekhawatiran itu tidak selalu tepat.

Tata kelola yang baik bukan berarti setiap penggunaan AI harus melewati birokrasi yang panjang. Yang lebih penting adalah memastikan bahwa tingkat kontrol sesuai dengan tingkat risiko (sejalan dengan NIST, 2023).

NIST menempatkan pengelolaan risiko sebagai bagian dari upaya untuk mengurangi potensi dampak negatif sekaligus membantu organisasi memperoleh manfaat dari AI (NIST, 2023).

Dengan perspektif ini, tata kelola bukan lawan inovasi.

Tata kelola adalah cara agar inovasi tidak kehilangan batas.

Untuk pekerjaan berisiko rendah, kontrol dapat dibuat sederhana. Untuk pekerjaan yang menyangkut informasi sensitif, keputusan penting, atau dampak besar terhadap orang lain, pemeriksaan yang lebih kuat menjadi masuk akal.

Yang penting bukan sebanyak apa aturan dibuat.

Yang penting adalah apakah aturan tersebut hadir pada titik risiko yang tepat.

Organisasi perlu belajar dari penggunaan AI

Tanggung jawab juga tidak berakhir setelah keluaran AI diperiksa.

Bayangkan sebuah organisasi telah menetapkan bahwa keluaran AI harus diverifikasi. Itu merupakan langkah penting. Namun, jika pemeriksaan menemukan kesalahan yang berulang, persoalannya tidak berhenti pada orang yang melakukan verifikasi.

Organisasi perlu menelusuri:

●      mengapa kesalahan tersebut terjadi;

●      apakah informasi yang digunakan bermasalah;

●      apakah instruksi kepada AI terlalu terbuka;

●      apakah batas penggunaan belum jelas;

●      apakah manusia terlalu percaya pada keluaran sistem; dan

●      apakah prosedur pemeriksaan perlu diperbaiki.

Di sinilah gagasan MEASURE dan MANAGE dalam NIST menjadi relevan. Pengelolaan risiko bukan hanya mengenali risiko, tetapi juga mengukurnya dan menentukan bagaimana risiko tersebut dikelola (NIST, 2023).

Pedoman DJKN juga mewajibkan pengguna melaporkan ketika terjadi kebocoran data, penggunaan AI yang tidak sesuai, dugaan penyalahgunaan data, atau pemrosesan informasi tertutup pada AI publik (Direktorat Jenderal Kekayaan Negara, Kementerian Keuangan Republik Indonesia, 2026).

Bila pelaporan itu kita manfaatkan, kesalahan berubah dari sesuatu yang hanya perlu ditangani setelah terjadi menjadi sinyal yang dapat digunakan untuk memperbaiki proses. Gagasan ini sejalan dengan fungsi MANAGE dalam NIST (NIST, 2023).

Sistem yang baik bukan sistem yang mengasumsikan tidak akan pernah terjadi kesalahan.

Sistem yang baik adalah sistem yang tahu apa yang harus dilakukan ketika kesalahan terjadi.

Pertanyaan yang seharusnya kita ajukan

Mungkin kita terlalu lama mengajukan pertanyaan yang salah kepada AI.

Kita sering bertanya seberapa pintar AI ini, seberapa cepat AI dapat menyelesaikan pekerjaan, dan berapa banyak pekerjaan manusia yang dapat diotomatisasi.

Pertanyaan-pertanyaan tersebut tetap penting.

Namun, ketika AI mulai menjadi bagian dari pekerjaan sehari-hari, ada hal lain yang tidak kalah penting untuk ditelusuri:

●      siapa yang menetapkan batas penggunaannya;

●      siapa yang memeriksa hasilnya;

●      informasi apa yang boleh diberikan kepadanya;

●      keputusan apa yang tidak seharusnya didelegasikan; dan, pada akhirnya,

●      siapa yang tetap bertanggung jawab ketika hasil AI digunakan.

AI dapat menghasilkan teks, analisis, rekomendasi, kode, gambar, dan berbagai bentuk keluaran lainnya. Tetapi kemampuan menghasilkan sesuatu tidak otomatis berarti memiliki kewenangan untuk mempertanggungjawabkannya.

Dalam praktik organisasi, prinsip akuntabilitas perlu diterjemahkan ke dalam cara kerja: menentukan batas, melindungi informasi, memeriksa keluaran, memantau risiko, dan memperbaiki proses ketika ditemukan masalah.

AI boleh semakin mampu.

Delegasi pekerjaan boleh semakin luas.

Namun, delegasi kemampuan tidak boleh otomatis menjadi delegasi akuntabilitas.

Sebab ketika AI mulai bekerja, hal yang paling penting bukan lagi sekadar “apa yang dapat dilakukan mesin”, melainkan apakah kita masih tahu siapa yang tetap bertanggung jawab.

Referensi

Direktorat Jenderal Kekayaan Negara, Kementerian Keuangan Republik Indonesia. (2026). Pedoman Keamanan Penggunaan Teknologi Generative Artificial Intelligence (GenAI), PDM-01/KN.8/2026.

Fasha, M., Sowan, B., Abul Rub, F., Al Khaldy, M., Matar, N., & Barham, H. (2024). Mitigating the OWASP Top 10 for large language models applications using intelligent agents. IEEE.

Kementerian Komunikasi dan Informatika Republik Indonesia. (2023). Surat Edaran Menteri Komunikasi dan Informatika Nomor 9 Tahun 2023 tentang Etika Kecerdasan Artifisial.

National Institute of Standards and Technology (NIST). (2023). Artificial Intelligence Risk Management Framework (AI RMF 1.0). U.S. Department of Commerce.