Logika Cacat di Jantung Fantasi Otomasi

Tech tidak memecahkan masalah kepercayaan, akuntabilitas, atau tenaga kerja - teknologi mengalihkan tanggung jawab dari sistem dan ke individu.

Di sektor swasta, publik, dan nirlaba, sebuah resep umum diterapkan untuk menumbuhkan simpanan data: interoperabilitas → integrasi → optimisasi → otomatisasi.

Menjanjikan untuk mengantarkan pada era "kota pintar," "layanan yang efisien," dan "waktu luang tanpa batas," otomatisasi adalah fantasi yang mendorong revolusi saat ini melintasi bisnis dan birokrasi.

Terkesima oleh banyaknya informasi (dapat diidentifikasi secara pribadi dan lainnya) yang dihasilkan oleh operasi Anda di era digital? Tidak perlu takut, Zaman Otomasi ada di sini.

Satu Tumpukan untuk Memecahkan Mereka Semua

Otomatisasi menjanjikan kepatuhan (murah). Itu memuja di altar efisiensi. Ini melukiskan masalah jahat Anda sebagai debuggable dan sistem kompleks Anda sebagai satu set hubungan sebab akibat linier hanya menunggu untuk diurai. Itu tidak membedakan antara jenis masalah dan proses yang dihadapi oleh lembaga swasta vs publik. Ini tidak hanya akan menambang data Anda untuk berlian, tetapi juga memotong dan memoles batu. Sederhananya, itu akan "mengubah dunia."

Organisasi tidak hanya memobilisasi data mereka sendiri. Wawasan terbaik berasal dari menganalisis petak besar data dari berbagai sumber. Inilah sebabnya mengapa lembaga sektor publik mengumpulkan data lintas layanan, dan mengapa perusahaan konsumen melahap informasi pribadi pelanggan mereka. Seperti yang dikutip oleh New York Times, perusahaan-perusahaan Amerika menghabiskan hampir $ 20 miliar pada 2018 untuk memperoleh dan memproses data konsumen. Logika yang dijanjikan dari pengeluaran itu berlangsung seperti ini:

Pada langkah 1, interoperabilitas, data membuat mesin dapat dibaca dan dicerna. Hampir tidak ada hari-hari digitalisasi PDF secara manual. Tumpukan alat yang semakin meningkat termasuk pemindai, visi komputer, dan algoritma pemrosesan bahasa alami semakin baik dalam mengunyah substrat data yang paling berantakan sekalipun dan memuntahkan kembali data-data yang diekstraksi dan disusun dengan hati-hati, siap untuk dianalisis. Dengan analisis grafik, bahkan set data yang paling berbeda pun dapat di-layering untuk ditambang.

Pada langkah 2, integrasi, data dari sistem terpisah digabungkan dan dibuat dapat diakses melalui antarmuka, dasbor, dan basis data. Peneliti longitudinal, bersukacitalah! Silo dibentang. Grafik dianalisis. Hubungan yang sebelumnya tak terlihat dimodelkan dan divisualisasikan. Tren digembar-gemborkan, kekuatan dan arah mereka dibedah dan disajikan sebagai begitu banyak "wawasan."

Pada langkah 3, optimisasi, algoritme dilapiskan ke tumpukan yang menjanjikan untuk melakukan hal-hal seperti "merekomendasikan," "mempersonalisasikan," dan "memprediksi" jauh lebih baik daripada yang bisa dilakukan oleh manusia biasa. Sebagai pengganti keterlibatan pemangku kepentingan yang rumit dengan perdebatan berantakan tentang nilai-nilai, algoritma ini mengambil isyarat dari logika keputusan masa lalu kita dan narasi dominan - dari kapitalisme dan institusionalisme neoliberal. Mereka menuju efisiensi. Mereka menuju pertumbuhan. Jika sistem pendahulu yang menghasilkan input data historis mereka berkelanjutan, adil, atau adil, algoritme mungkin juga. Jika tidak, maju— mempercepat keruntuhan.

Pada langkah 4, otomatisasi, algoritma baru diberi tanggung jawab baru. Membangun ke tumpukan yang sudah mengklaim untuk lebih memahami dinamika sistem dan hubungan, mereka sekarang menawarkan untuk mengatur kembali mekanisme akuntabilitas dan struktur pengambilan keputusan. Mereka menentukan kelayakan kredit. Mereka mengalokasikan tunjangan kesehatan. Mereka predikat akses ke layanan publik - pada perilaku yang sebelumnya ortogonal, atau pada kemampuan seseorang untuk membuktikan identitas mereka.

Sayang. Dalam waktu dekat, setidaknya, tanah yang dijanjikan tampak seperti mencoba membuat akun digital DHS di Arkansas, dan sayangnya itu tidak cantik.

"Masa depan sudah ada di sini - hanya didistribusikan secara tidak merata"

Dari tempat saya saat ini dalam filantropi, saya melihat perubahan terjadi di mana-mana - dengan kecepatan yang berbeda di tempat yang berbeda, mengubah dasar pekerjaan yang ingin kita lakukan lintas sektor dan wilayah - kadang-kadang secara diam-diam, selalu tak terhindarkan.

Di masa lalu, saya pernah bekerja di sektor publik (DoD's Cebrowski Institute), sektor swasta (penelitian sindikasi pada teknologi berjangka), dan dalam konsultasi lintas sektor (mengembangkan ekosistem inovasi untuk kompetisi insentif hadiah). Dalam waktu yang relatif singkat, saya telah datang lingkaran penuh dari penggila keterlibatan teknologi (pada usia 24, saya menggambarkan diri saya dalam aplikasi pekerjaan sebagai "penginjil yang dapat dikenakan") untuk berhati-hati skeptis terhadap kapasitas teknologi untuk melakukan intervensi positif dalam sistem manusia.

Tahun lalu, saya berada di sebuah pertemuan di Sand Hill Rd., Memukul genderang saya tentang etika keterpusatan dan kesetaraan dalam pengembangan sistem sektor publik otomatis, ketika seorang penyandang dana dan penggagas integrasi data bertanya dengan sangat serius, “Mengapa Anda terus membahasnya? - seperti, apa yang salah? "

Pada titik ini, dari sudut pandang saya, lebih sedikit tentang apa yang bisa salah dan lebih banyak tentang apa yang sudah ada. Ada sesuatu yang busuk di pusat fantasi otomatisasi.

Otomasi memiliki banyak nama ("kecerdasan buatan," "pengambilan keputusan algoritmik," dll.) Tetapi suka menyembunyikan sifat aslinya. Berikut adalah beberapa dari banyak wajah yang dikenakannya.

Sampah masuk sampah keluar.

Dan sebagian besar adalah sampah.

Tentu, "data besar" telah mengungkapkan korelasi dan hubungan yang memungkinkan monetisasi, penciptaan nilai, dan penyampaian layanan yang lebih baik (mungkin kurang dari yang Anda kira). Tapi itu sebagian besar terlepas dari kualitas dan kebenaran data, bukan karena itu.

Mengutip salah satu dari banyak misnomers, apa yang kita bangun sebenarnya bukanlah kecerdasan buatan, itu adalah (cacat) kecerdasan manusia pada skala mesin masyarakat industri - ya, orang di balik tirai masih memutar-mutar tombol-tombol peradaban. Dan ya, itu memang pria kulit putih mengenakan celana pendek kargo dengan kaus kaki & sandal di Palo Alto.

Perencanaan seringkali menyamar sebagai prediksi.

Pada skala, algoritma menciptakan masa depan yang mereka prediksi.

Saat mesin membuat prediksi yang akurat, itu adalah kemenangan status quo, bukan pandangan ke depan.

Lebih sering, seperti halnya manusia, mereka membuat ramalan yang terpenuhi dengan sendirinya. Mereka akan melayani lebih banyak hal yang sama, lebih cepat kali ini, lebih akurat, dan dengan lebih sedikit input yang Anda butuhkan. Untuk merekomendasikan apa yang harus ditonton selanjutnya di Netflix, ini sangat bagus. Saya tidak bercita-cita untuk berhenti menyukai film fiksi ilmiah dengan pemeran utama wanita yang kuat. (Jika belum menembus gelembung filter Anda, jangan tidur di camp instan The Pyramid.)

Tetapi ketika menyangkut penyampaian layanan dan sistem sektor publik yang memiliki dampak nyata pada keluarga dan mata pencaharian, itu adalah cerita yang berbeda. Mengapa kita secara sengaja memodelkan pengambilan keputusan di masa depan pada pola masa lalu, yang kita tahu telah secara sistematis bias, tidak adil, tidak adil, diskriminatif, dan dalam banyak kasus secara ideologis tidak bertanggung jawab, jika tidak berbahaya? Tentu, algoritma cukup bagus dalam belajar dari pola masa lalu untuk memproyeksikan keputusan masa depan. Tetapi dalam banyak sekali sistem, itu adalah hal terakhir yang kita inginkan agar mereka lakukan.

Gesekan adalah mesin stabilitas - dan kemajuan.

Sistem sehat berkembang di tepi kekacauan.

Otomasi tiba di bawah panji "kemajuan," tetapi mengungkapkan dirinya sebagai agen stagnasi.

Gesekan - perjuangan - berteori untuk menjadi kekuatan pendorong dalam evolusi biologis, penggunaan alat dan pengembangan teknologi, sistem kekebalan yang berkembang, dan banyak lagi. Namun dalam buku resep otomatisasi, ini yang pertama dalam daftar subtitusi bahan.

Muak harus melakukan riset sendiri? Algoritma akan menambang banyak sekali informasi sehingga Anda tidak perlu melakukannya. Muak mengantri? Algoritma dapat mengoptimalkan waktu kedatangan Anda. Muak menyusun tanggapan sebagai bagian dari komunikasi dasar manusia? Algoritme dapat menyarankan tanggapan yang sangat tidak masuk akal untuk Anda.

Tapi apa yang dipertaruhkan dalam kesibukan ini untuk melumasi setiap tindakan (trans) kami? Apa yang mungkin hilang ketika kita tidak lagi harus menunggu, menderita kebosanan, berjuang, memikirkannya, atau bahkan mencoba?

Optimalisasi dan pengaruh adalah bentuk kontrol yang halus.

Meminjam dari model bisnis teknologi-iklan, permainan akhir otomasi dalam masyarakat kapitalis tidak hanya menjual lebih banyak barang, tetapi sebenarnya merancang perilaku manusia.

Infrastruktur penambangan data yang mengalami otomatisasi sama dengan yang mendukung Surveillance Capitalism, dan ingin menumpulkan agen kami, merampok tempat perlindungan kami, dan menghapus ketidakpastian kami. Seperti yang Shoshana Zuboff katakan, “Lupakan klise bahwa jika gratis Anda adalah produk - Anda bukan produk, tetapi hanya sumber bahan baku gratis dari mana produk dibuat untuk dijual dan dibeli ... Anda bukan produk, Anda adalah bangkai yang ditinggalkan. "

Dalam “Algoritma dan Blues: Tirani Utopia Teknologi Cerdas yang Datang,” Brett Frischman menjelaskan beberapa ideologi di jantung “teknologi cerdas” dan otomatisasi:

“Seharusnya, ponsel pintar, grid, mobil, rumah, pakaian dan sebagainya akan membuat hidup kita lebih mudah, lebih baik, lebih bahagia. Klaim-klaim ini berakar kuat dalam visi utopia teknologi-pintar yang dibangun dari visi tekno-utopia sebelumnya seperti cyber-utopianisme serta dari visi ekonomi-utopis seperti gagasan Coasean tentang pasar bebas gesekan, sangat efisien, dan visi Taylorist pekerja yang dikelola secara ilmiah, sangat produktif. Dalam dunia jaringan digital modern kita, visi-visi ini merayap jauh melampaui konteks aslinya dari internet, pasar, dan tempat kerja yang ideal. Teknologi pintar dapat mengatur lebih banyak kehidupan kita. ”

Tidak ada keajaiban dalam pembelajaran mesin.

Hanya satu dan nol, grafik, dan korelasi.

Tidak ada keajaiban dalam pembelajaran mesin, hanya aliran yang mengalir dari pembuatan keputusan yang turun tahta (dan dengan demikian pertanggungjawaban). Tentu, ketidakseimbangan kekuatan yang melekat di dunia di mana beberapa manusia membuat keputusan atas nama manusia lain (untuk mengatakan tidak ada yang bukan manusia) banyak bermasalah, tetapi apakah kita benar-benar yakin persamaan matematika yang dimuliakan akan melakukan pekerjaan yang lebih baik?

Berbicara dengan New York Times, kakek dari pemrograman komputer Donald Knuth baru-baru ini mengakui, “Saya khawatir bahwa algoritma menjadi terlalu menonjol di dunia. Awalnya para ilmuwan komputer khawatir tidak ada yang mendengarkan kami. Sekarang saya khawatir terlalu banyak orang yang mendengarkan. "

Jelas bahwa banyak pembuat keputusan telah membeli fantasi bahwa mesin lebih cocok untuk membuat pilihan daripada kita. Kode ditempatkan untuk bertanggung jawab atas sistem dan keputusan penting, dalam banyak kasus bahkan tanpa pemikiran untuk memproses ganti rugi atau ajudikasi. Siapa yang sanggup membayar pertempuran hukum yang berlarut-larut untuk mencari bantuan setelah algoritma buggy menyangkal kesehatan mereka? Ironisnya, hanya mereka yang penghasilannya menghalangi mereka yang membutuhkan akses ke layanan publik sama sekali.

Siapa yang menang - dan siapa yang kalah - di dunia otomatis?

Otomasi menjanjikan untuk mengantarkan pada bentuk-bentuk ketimpangan yang sama sekali baru.

Semakin banyak, akses ke layanan yang secara eksplisit menunjukkan wajah manusia pada otomatisasi pemberian layanan dijual dengan harga premium. Dan di dunia otomatis, privasi dan perlindungan adalah hak istimewa yang Anda bayar.

“Lebih baik tidak pernah berarti lebih baik untuk semua orang. Itu selalu berarti lebih buruk bagi sebagian orang. ”- Margaret Atwood

Untuk pratinjau siapa yang berencana memenangkan pertandingan panjang, intiplah beberapa pendukung otomatisasi yang paling vokal:
+ Inter-American Development Bank (IDB) mempromosikan penggunaan analitik prediktif di sektor publik, bagian dari fetish yang sedang berlangsung yang juga dikenal sebagai "data untuk pengembangan."
+ Untuk IBM, data adalah minyak baru. Untuk perusahaan perangkat lunak perusahaan, otomasi adalah untuk makan malam, dan sektor publik adalah pasar yang berkembang pesat.
+ Seperti yang kami dengar dari Facebook Mark Zuckerberg ketika (lemah) ditantang oleh Kongres pada hampir semua masalah dengan platform yang sekarang memediasi konsumsi informasi global (awalnya dirancang untuk mengurangi gesekan terkait dengan memeriksa gadis-gadis mahasiswa baru): algoritma akan memperbaikinya.
+ Perusahaan konsultan besar seperti Accenture berdiri untuk memperoleh keuntungan dari apa yang mereka sebut "visi teknologi" mereka. Minggu ini, McKinsey dikecam karena membantu dan melegitimasi pemerintah otoriter.

Pada dasarnya, ada pertukaran yang tersirat dalam masa depan otomatis. Kami dijual sebagai tagihan barang berdasarkan nilai efisiensi yang diasumsikan, tetapi melakukan trade-off yang tidak terlihat dalam ekuitas. Kita dijanjikan kebebasan dari gesekan, tetapi pada akhirnya kehilangan kesempatan. Sistem kami mengoptimalkan alokasi sumber daya, tetapi hanya dengan membuat kami terus-menerus diawasi dan semakin bertanggung jawab untuk mengelola interaksi kami dengan sistem. Kami menantikan masa depan di mana pekerjaan membosankan ditanggung mesin, tetapi berjuang untuk membayangkan berpegang pada martabat manusia dan kehidupan yang bermakna. Kami tergoda oleh logika pengukuran dan evaluasi langsung, tetapi lupa bahwa tidak semua hal yang penting dapat diukur.

Ketimpangan struktural terletak tepat di blindspot analitik otomasi.

Ketergantungan yang berlebihan pada analisis data secara fungsional memprioritaskan jenis-jenis korelasi yang aljabar liniernya baik dalam hal bercak - tetapi tidak yang muncul dari dinamika sistem yang kompleks.

Sekarang, algoritma bias adalah masalah yang sudah diketahui. Karena mereka bergantung pada data masa lalu, mereka tunduk pada pengkodean pola-pola buruk, berdasarkan pada pengumpulan data yang buruk, distribusi layanan yang tidak adil secara historis (dan dengan demikian pengawasan yang berlebihan terhadap populasi berpendapatan rendah dan minoritas), dan asumsi-asumsi yang dibuat sebelumnya. Kita dapat melihat bukti bias ini dalam hasil otomatisasi rasis dan seksis dari berbagai sektor.

Tetapi dengan semua fokus pada memperkenalkan keadilan, akuntabilitas, dan transparansi dalam pembelajaran mesin, kami masih gagal melihat hutan untuk pepohonan. Secara khusus, upaya untuk mengoreksi bias dalam algoritma biasanya gagal untuk menjelaskan ketidaksetaraan struktural. Karena ia mendalami dan lahir dari data historis, otomatisasi hanya tahu bagaimana memperdalam alur pola yang ada, menilai hanya variabel-variabel yang telah diisolasi untuk pengukuran dan kemudian dibuat bermakna melalui hubungannya dengan metrik lainnya.

Tetapi justru ekosistem struktural di mana otomasi sedang dikerahkan yang akan kita perlu problematisasi dan atasi jika kita ingin memanen janji alat analitis. Tahan terhadap analisis statistik, air tempat kita berenang - semur yang penuh narasi dominasi, ideologi pertumbuhan dan konsumsi, dikotomi palsu mendasar, merajalela yang lain, informasi yang keliru di mana-mana, dan fatalisme ekologis - adalah sesuatu yang dapat kita lihat sekilas tetapi jarang melampaui.

Dengan otomatisasi, transendensi tidak ditawarkan. Optimalisasi, ya. Mitigasi, mungkin. Solusi, dalam nama saja. Alih-alih, fantasi otomatisasi membawa etos keistimewaan dan daya pikat yang sombong dari "akhir sejarah." Fantasi otomatisasi menyarankan penggunaan analisis untuk mengunci struktur status quo. Itu adalah pandangan khusus tentang "kemajuan." Segalanya bisa jauh lebih baik, sarannya, selama distribusi kekuatan dan sumber daya tingkat tinggi tetap hampir sama.

Melihat algoritma yang menjanjikan untuk merevolusi layanan kesehatan, Shannon Mattern menulis:

Terlebih lagi, keyakinan buta bahwa pengumpulan data di mana-mana akan mengarah pada "penemuan yang bermanfaat bagi semua orang" patut skeptis. Studi empiris skala besar dapat memperkuat kesenjangan kesehatan, terutama ketika analisis demografis tidak didasarkan pada hipotesis atau kerangka kerja teoritis tertentu. Ahli etika Celia Fisher berpendapat bahwa penelitian seperti Proyek Manusia perlu dengan jelas mendefinisikan "apa arti kelas, ras, dan budaya, dengan mempertimbangkan bagaimana definisi ini terus dibentuk dan didefinisikan ulang oleh kekuatan sosial dan politik," dan bagaimana kelompok-kelompok tertentu telah dipinggirkan, bahkan patologis, dalam wacana dan praktik medis. Para periset yang menarik kesimpulan berdasarkan korelasi yang diamati - tidak terhias dan tidak bersejarah - menghadapi risiko, katanya, "mengaitkan masalah kesehatan dengan disposisi genetik atau budaya dalam kelompok yang terpinggirkan daripada kebijakan yang menopang ketidakadilan kesehatan sistemik politik dan kelembagaan." - Shannon Mattern, "Databodies in Codespace"

Otomasi menggeser beban akuntabilitas dari sistem ke manusia.

Mitos waktu luang tanpa batas melalui otomatisasi sudah berdering salah.

Dalam dunia otomatis, proses telah dirancang ulang bukan untuk meningkatkan pengalaman pengguna, tetapi untuk meningkatkan margin keuntungan dan / atau mengurangi pengeluaran modal manusia.

Tetapi seperti yang ditunjukkan oleh penelitian Karen Levy tentang pengiriman truk, otomatisasi tidak menggantikan manusia sebanyak yang menyerang mereka. Seperti mantan mitra yang kejam, ia mengawasi, melanggar, mengatur, dan memanipulasi, sambil membutuhkan akses intim ke tubuh dan menuntut peningkatan akses ke pikiran.

Tanpa intervensi, mereka yang sudah di pinggiran akan semakin terpinggirkan. Dan ketika otomasi digunakan untuk status quo, nilai diekstraksi dan / atau tenaga tak terlihat diperlukan dari setiap orang yang berinteraksi dengan sistem otomatis.

Pasien sekarang koordinator dan mengadvokasi perawatannya sendiri. Konsumen secara aktif dikonsumsi dalam siklus konsumsi yang sedang berlangsung. Warga negara sekarang wasit akan kebenarannya sendiri dan kurator maknanya sendiri. Di seluruh sektor, tenaga kerja tak kasat mata (dan tidak dibayar) sekarang diperlukan untuk menavigasi sistem di mana kita terlibat secara tak terpisahkan, mengungkapkan kita - individu - semakin bertanggung jawab dan semakin dikomodifikasi dalam tindakan konsumsi, kewarganegaraan, dan pengejaran kesehatan dan kesejahteraan.

Tidak ada yang namanya teknologi netral.

Dalam hirarki fraktal teknologi otomasi, nilai-nilai yang tak terlihat tertanam di mana pun Anda melihat.

Ada nilai - nilai moral - dalam setiap pilihan desain, setiap proses implementasi, setiap budaya organisasi berubah, dan dalam setiap dampak pada pengambilan keputusan pengguna akhir.

Pembingkaian otomatisasi sebagai "perbaikan teknis" atau penerapan teknologi yang tak terhindarkan mengaburkan landasan filosofis dan moral kuno dari algoritma pembelajaran mesin yang tersirat dalam tumpukan otomasi, terlalu sering berjalan dengan pilot otomatis sebagai pengganti percakapan yang keras dan inklusif tentang nilai-nilai yang menolak kuantifikasi dan pengukuran.

Ketika berbicara tentang teknologi otomasi, kita seharusnya tidak pernah menganggap netralitas, apalagi kemajuan positif. Ini sangat penting ketika menyangkut integrasi data dan otomatisasi di sektor publik. Infrastruktur teknis yang sama dibangun untuk mendukung transparansi pemerintah dapat dengan mudah digunakan untuk kontrol sosial. Lapisan analitik yang sama yang menjanjikan untuk membuat sistem peradilan pidana lebih adil juga dapat digunakan untuk mengisi penjara swasta dengan warga yang terpinggirkan. Dan mekanisme pengawasan yang sama yang menjanjikan untuk meningkatkan keselamatan publik dapat dimobilisasi untuk membatasi akses warga ke layanan.

Tiongkok mempromosikan sistem kredit sosialnya, yang secara harfiah didasarkan pada ungkapan pemerintah "yang dulu tidak dapat dipercaya, selalu dibatasi," sebagai cara untuk meningkatkan kepercayaan warga terhadap pemerintah. Pejabat Cina bertemu dengan rekan-rekan di setidaknya 36 negara tahun lalu secara khusus untuk berbagi pendekatan mereka terhadap "manajemen media atau informasi baru" (baca: kontrol digital). Di Meksiko, di mana sudah hanya 2% warga negara percaya bahwa mereka hidup dalam demokrasi penuh, transparansi mempercepat akuntabilitas, meninggalkan bukan hanya kebenaran, tetapi juga sinisme dan pelepasan. Di Brasil, sebuah sistem data terintegrasi publik yang terkenal dan ekspansif yang dibangun untuk mengotomatisasi pemberian layanan sosial sedang terhubung ke data pekerjaan sektor swasta, seperti halnya seorang garis keras mengambil alih kantor yang telah menjadi romantis tentang kediktatoran militer. Di Kenya, pemerintah telah menetapkan katalog geometri genom dan daun telinga setiap warga negara. Dan di Amerika Serikat, sistem data terintegrasi publik sedang dibangun yang akan segera menyentuh mayoritas warga.

Untuk lebih jelasnya, banyak pegawai negeri yang berdedikasi yang mengoperasikan layanan publik kami dengan sepatutnya menyambut integrasi data; bahkan mendapatkan akses ke dasbor data waktu nyata dari dalam agensi sendiri masih merupakan prospek yang menarik di banyak distrik. Tetapi ada perbedaan yang berguna untuk dibuat antara data yang digunakan untuk meningkatkan hasil melalui penelitian versus data yang digunakan untuk manajemen kasus individu, analitik prediktif, dukungan keputusan, dan pemberian layanan otomatis. Saya khawatir bahwa perusahaan teknologi menjual sektor publik dengan visi otomatisasi yang alatnya menanamkan nilai-nilai kapitalisme, bukan keberlanjutan; efisiensi, bukan keadilan; status quo, bukan keadilan. Dan untuk dicatat, tidak peduli berapa banyak praktik terbaik yang diikuti dalam desain dan implementasi (seperti yang telah mereka lakukan dalam sistem data terintegrasi di Allegheny County, PA), setidaknya ada dua sisi untuk setiap kisah otomatisasi.

Semua gambar di sini adalah milik Daniel Rehn di Flickr

Di setiap tempat yang Anda lihat, fantasi otomatisasi adalah menemukan pembelian dan lahan subur untuk menanam bijinya. Terlepas dari hype gemuruh yang datang dari perusahaan teknologi perusahaan, itu paling sering melakukannya dengan diam-diam, diam-diam, dan strategis.

Komunitas yang terkena dampak dibiarkan tidak sadar sampai kontak pertama dengan proses kereta atau pengalaman pengguna yang menyebalkan. IRB Universitas adalah hal yang sangat dinanti-nantikan, namun sudah lama dilupakan dalam hal terburu-buru untuk mengirim. Sistem diangkat secara grosir dari satu konteks, berlabel putih, dan dialirkan ke yang lain. Dijual oleh janji modernisasi dan kemajuan, para pemimpin kami berkomitmen untuk mendapatkan kontrol sosial komersial.

Saya ingin menekankan bahwa semua ini tidak mengutuk integrasi data, analisis grafik, atau pembelajaran mesin. Ini adalah alat yang berharga dalam kit yang juga harus mencakup ilmu sosial dan keterlibatan pemangku kepentingan. Tetapi konteks di mana alat-alat ini digunakan menetapkan ketergantungan jalan. Fantasi yang mendorong pembelian dan pengarahan alat-alat ini patut dicermati. Model bisnis yang mereka dukung, nilai-nilai yang tertanam yang mereka kodekan, tingkat keterpusatan orang yang mereka cerminkan, cara mereka secara halus mengalihkan tanggung jawab di antara para pemangku kepentingan, dan ketidakadilan struktural yang mereka ancam untuk mengunci masalah secara mendalam. Dan konteks saat ini di mana alat otomasi dijual dan digunakan sangat cacat.

Komitmen untuk pelibatan masyarakat, metodologi desain yang berpusat pada orang dan pendekatan implementasi, tinjauan etis yang ketat dan berkelanjutan, inklusi default ilmuwan sosial dan seniman dalam proses pengembangan, audit algoritmik, dan diskusi eksplisit dan inklusif tentang nilai-nilai apa yang tertanam dalam alat (terutama matang untuk meninjau kembali: kesepakatan sosial yang tak terucapkan antara warga dan mekanisme tata kelola komersial / hukum) bisa sangat membantu memastikan otomasi tidak dibumbui oleh otoritarianisme, tetapi tidak jika kita tetap tertidur di belakang kemudi mobil yang bisa menyetir sendiri ini.

Ada sesuatu yang busuk di pusat mimpi itu, dan kita harus segera bangun - sebelum kita mengotomatiskan janji-janji masa lalu kita yang rusak ke dalam jalinan masa depan kita.