Keterbatasan Pembelajaran Dalam dalam Penelitian AI

Kecerdasan buatan telah mencapai prestasi luar biasa berkat pembelajaran yang mendalam, namun, masih kurang dari kemampuan manusia.

12 Februari 2019, oleh Roberto Iriondo - terakhir diperbarui: 7 April 2019

Sumber gambar: Memoirs Machine Learning | [11]

Pembelajaran mendalam, subset pembelajaran mesin, telah memberikan akurasi super-manusia dalam berbagai kegunaan praktis dalam dekade terakhir. Dari merevolusi pengalaman pelanggan, terjemahan mesin, pengenalan bahasa, kendaraan otonom, visi komputer, generasi teks, pemahaman ucapan, dan banyak aplikasi AI lainnya [2].

Berbeda dengan pembelajaran mesin di mana agen AI belajar dari data berdasarkan algoritma pembelajaran mesin, pembelajaran mendalam didasarkan pada arsitektur jaringan saraf yang bertindak mirip dengan otak manusia, dan memungkinkan agen AI untuk menganalisis data yang dimasukkan ke dalam - dalam struktur yang serupa dengan cara manusia melakukannya. Model pembelajaran dalam tidak memerlukan algoritma untuk menentukan apa yang harus dilakukan dengan data, yang dimungkinkan berkat jumlah luar biasa dari data yang kita sebagai manusia, kumpulkan dan konsumsi - yang pada gilirannya dimasukkan ke dalam model pembelajaran yang mendalam [3].

Tipe "tradisional" pembelajaran mendalam menggabungkan campuran berbeda dari modul umpan-maju (sering jaringan saraf convolutional) dan jaringan saraf berulang (sekarang dan kemudian dengan unit memori, seperti LSTM [4] atau MemNN [5]). Model pembelajaran yang mendalam ini dibatasi dalam kapasitas mereka untuk "alasan", misalnya untuk melakukan pemotongan rantai panjang, atau merampingkan metode untuk mendarat di jawaban. Jumlah langkah dalam perhitungan dibatasi oleh jumlah lapisan dalam jaring umpan maju, dan pada rentang waktu jaringan saraf berulang akan mengingat kembali hal-hal.

Pada titik itu, ada masalah keruhanan. Ketika model pembelajaran yang mendalam telah dilatih, itu tidak selalu jelas bagaimana cara membuat keputusan [6]. Dalam banyak pengaturan yang sama sekali tidak dapat diterima, terlepas dari apakah itu menemukan solusi yang benar; yaitu menganggap bank menggunakan AI untuk menilai nilai kredit Anda, dan setelah itu menyangkal Anda pinjaman, di banyak negara ada undang-undang yang menyatakan bahwa bank perlu menjelaskan mengapa - jika bank menggunakan model pembelajaran yang mendalam untuk pengambilan keputusan pinjamannya , bagian pinjaman mereka (kemungkinan) tidak akan dapat memberikan penjelasan yang jelas mengapa pinjaman itu ditolak.

Gambar 1 | Teks yang dihasilkan oleh jaringan saraf berulang (RNN), RNN dalam hal ini dilatih untuk mengidentifikasi presentasi gambar tingkat tinggi ke dalam teks. [1]

Yang terpenting ada tidak adanya akal sehat. Model pembelajaran yang dalam mungkin merupakan yang terbaik dalam memahami pola. Namun mereka tidak dapat memahami apa arti pola-pola itu, dan jauh lebih sedikit alasan tentangnya. Untuk memberdayakan model pembelajaran yang mendalam untuk alasan, kita harus mengubah struktur mereka agar mereka tidak membuat output tunggal (yaitu penafsiran gambar, terjemahan paragraf, dll), namun untuk memberikan seluruh pengaturan output alternatif (yaitu berbagai cara kalimat dapat diterjemahkan). Inilah yang ingin dilakukan oleh model basis energi: memberi Anda skor untuk setiap konfigurasi variabel yang dapat ditafsirkan.

Secara progresif, kelemahan seperti itu meningkatkan kekhawatiran tentang AI di antara populasi publik yang luas, terutama karena kendaraan otonom, yang menggunakan strategi pembelajaran mendalam yang setara untuk menavigasi jalan [7], terkait dengan kemunduran dan kematian [8]. Publik mulai mengatakan, mungkin ada masalah dengan AI - di dunia di mana kesempurnaan diharapkan; dan meskipun pembelajaran mendalam tentang mobil self-driving telah membuktikan, bahwa hal itu akan menyebabkan korban yang jauh lebih sedikit daripada pengemudi manusia, manusia itu sendiri tidak akan, sepenuhnya memiliki kepercayaan pada kendaraan otonom, sampai, tidak ada korban yang terlibat.

Selain itu, pembelajaran mendalam benar-benar dibatasi dalam bentuknya saat ini, dengan alasan bahwa praktis semua kegunaannya [19] [20] [21] [22] [23] [24] [25] [26] [27 ] [28] [29] [30] [31] [32], memanfaatkan pembelajaran mesin terawasi dengan anotasi komentar manusia yang telah dicatat sebagai kelemahan yang signifikan - ketergantungan ini mencegah jaringan saraf yang dalam dari diterapkan pada masalah di mana input data langka. Sangat penting untuk menemukan pendekatan untuk mempersiapkan jaring saraf yang luas dari data "mentah" tanpa komentar untuk menangkap keteraturan dari dunia nyata. Di mana menggabungkan pembelajaran yang mendalam, dengan teknik pembelajaran mesin permusuhan [17] [18] dapat memberikan jawaban yang kita cari.

Dalam hal populasi umum - sayangnya publik, tidak memiliki pemahaman yang adil tentang pembelajaran yang mendalam. Jika pekerjaan dalam pembelajaran mendalam hanya terbatas pada laboratorium penelitian AI, itu akan menjadi satu hal. Namun, teknik pembelajaran yang mendalam sedang digunakan dalam setiap aplikasi yang mungkin saat ini. Tingkat kepercayaan yang diberikan oleh eksekutif dan pemasar teknologi pada teknik pembelajaran yang mendalam mengkhawatirkan. Meskipun pembelajaran yang mendalam adalah hal yang luar biasa, penting untuk tidak hanya mengeksplorasi kekuatannya, tetapi juga untuk fokus, dan menyadari kelemahannya, untuk memiliki rencana tindakan.

Penelitian Mrinmaya Sachan tentang Menuju Literate Artificial Intelligence [33] membuat kasus yang menarik dalam mengeksplorasi bagaimana, meskipun kami telah melihat perkembangan penting di bidang kecerdasan buatan berkat pembelajaran yang mendalam, sistem AI saat ini masih kurang memiliki sifat intrinsik kecerdasan manusia. Dia kemudian menyelam dan merenung, sebelum manusia mulai membangun sistem AI yang memiliki kemampuan manusia (penalaran, pemahaman, akal sehat), bagaimana kita bisa mengevaluasi sistem AI pada tugas-tugas seperti itu? - untuk memahami dan mengembangkan sistem kecerdasan yang benar. Penelitiannya mengusulkan penggunaan tes standar pada sistem AI (mirip dengan tes yang dilakukan siswa untuk maju dalam sistem pendidikan formal) dengan menggunakan dua kerangka kerja untuk mengembangkan sistem AI lebih lanjut, dengan manfaat penting yang dapat diterapkan dalam bentuk sosial. baik dan pendidikan.

Tentang Pembelajaran Dalam dan Pengambilan Keputusan, Apakah kita memiliki pemahaman teoretis yang benar tentang jaringan saraf?

Jaringan saraf tiruan, yang mencoba meniru arsitektur otak memiliki banyak koneksi neuron buatan (node), jaringan itu sendiri bukan algoritma tetapi kerangka kerja di mana berbagai algoritma pembelajaran mesin dapat berfungsi untuk mencapai tugas yang diinginkan . Dasar-dasar rekayasa jaringan saraf hampir sepenuhnya didasarkan pada heuristik, dengan sedikit penekanan pada pilihan arsitektur jaringan, sayangnya tidak ada teori yang pasti yang memberi tahu kita bagaimana menentukan jumlah neuron yang tepat untuk model tertentu. Namun ada karya teoritis tentang jumlah neuron dan kapasitas keseluruhan model [12] [13] [14], namun demikian, itu jarang praktis untuk diterapkan.

Stanford Professsor, Sanjeev Arora, mengambil pendekatan yang jelas untuk teori generalisasi jaringan saraf yang mendalam [15], di mana ia menyebutkan misteri generalisasi pembelajaran mendalam sebagai: Mengapa jaringan saraf dalam yang terlatih bekerja dengan baik pada data yang sebelumnya tidak terlihat? mis. katakanlah Anda melatih model pembelajaran yang mendalam dengan ImageNet dan melatihnya pada gambar dengan label acak, akurasi tinggi akan menjadi hasilnya. Namun, menggunakan strategi regularisasi normal yang menyimpulkan generalisasi yang lebih tinggi tidak banyak membantu [16]. Apapun, jaringan syaraf yang terlatih masih tidak dapat memprediksi pelabelan acak dari gambar yang tidak terlihat, yang pada gilirannya berarti bahwa jaringan saraf tidak menggeneralisasi.

Gambar 2 | Serangan satu piksel yang berhasil mengelabui tiga jenis jaringan saraf dalam yang dilatih pada dataset CIFAR-10. [9] [10] | Label asli berwarna hitam, sedangkan label output serangan berwarna biru dengan interval kepercayaan koresponden mereka [9].

Baru-baru ini para peneliti mampu mengekspos kerentanan arsitektur jaringan saraf dalam dengan menambahkan nuansa kecil pada dataset gambar besar untuk mengubah (dengan probabilitas tinggi) output model [9] dari jaringan saraf. Studi ini mengikuti beberapa peneliti lain yang menunjukkan tingkat kerapuhan yang sama dengan output, berdasarkan pada nuansa kecil pada input. Jenis hasil ini tidak menginspirasi kepercayaan, yaitu pada kendaraan otonom, lingkungan cenderung memiliki semua jenis nuansa (hujan, salju, kabut, bayangan, false positive, dll.) - sekarang bayangkan sebuah sistem visual dilempar oleh suatu perubahan kecil pada input visualnya. Saya yakin bahwa Tesla, Uber dan beberapa orang lain telah mengidentifikasi masalah ini dan sedang mengerjakan rencana untuk mengatasinya, namun penting bagi publik untuk menyadarinya juga.

Gambar 3 | Serangan satu piksel berhasil pada jaringan saraf dalam (DNN). Label asli terlebih dahulu, diikuti oleh output dari serangan terhadap tanda kurung [9]

Saat ini, kami dikelilingi oleh teknologi. Dari gadget pintar di rumah kami, smartphone dalam saku tuangkan, komputer di meja kami hingga router yang menghubungkan kami ke internet, dll. Dalam masing-masing teknologi ini, arsitektur dasar berfungsi dengan baik berkat prinsip-prinsip rekayasa yang kokoh yang mereka bangun. setelah itu, matematika yang mendalam, fisika, listrik, komputer dan rekayasa perangkat lunak, dll. dan di atas semua bidang ini - bertahun-tahun, jika bukan puluhan tahun, pengujian statistik dan jaminan kualitas.

Penting untuk diingat, bahwa model pembelajaran yang mendalam membutuhkan sejumlah besar data untuk melatih model awal (agar memiliki hasil akurasi yang tinggi dan tidak menghasilkan overfitting, perlu diingat bahwa tugas sub-sekuensial dapat belajar dari transfer pembelajaran), dan yang pada akhirnya tanpa pemahaman mendalam tentang apa yang sebenarnya terjadi di dalam "arsitektur saraf yang mendalam," secara praktis maupun teoritis tidak bijaksana untuk membangun solusi teknologi yang berkelanjutan dalam jangka panjang.

Ucapan Terima Kasih:

Penulis ingin mengucapkan terima kasih kepada Matt Gormley, Asisten Profesor di Universitas Carnegie Mellon, dan Arthur Chan, Arsitek Pidato Kepala, Kurator AIDL.io dan Deep Learning Specialist, untuk kritik membangun dalam persiapan artikel ini.

PENOLAKAN: Pandangan yang diungkapkan dalam artikel ini adalah dari penulis dan tidak mewakili pandangan Universitas Carnegie Mellon, atau perusahaan lain (langsung atau tidak langsung) yang terkait dengan penulis. Tulisan-tulisan ini tidak dimaksudkan sebagai produk akhir, tetapi lebih merupakan cerminan dari pemikiran saat ini, bersama sebagai katalis untuk diskusi dan perbaikan.

Anda dapat menemukan saya di situs web saya, Medium, Instagram, Twitter, Facebook, LinkedIn atau melalui perusahaan desain web saya.

Kisah yang Direkomendasikan:

Referensi:

[1] Tinjauan Pembelajaran Mendalam | Yann LeCun, Yoshua Bengio, Geoffrey Hinton | http://pages.cs.wisc.edu/~dyer/cs540/handouts/deep-learning-nature2015.pdf

[2] 30 Aplikasi Pembelajaran Mendalam | Yaron Hadad | http://www.yaronhadad.com/deep-learning-most-amazing-applications/

[3] Pengantar Pembelajaran Jauh | Bhiksha Raj | Universitas Carnegie Mellon | http://deeplearning.cs.cmu.edu/

[4] Memahami Jaringan LSTM | Christopher Olah | http://colah.github.io/posts/2015-08-Understanding-LSTMs/

[5] Memory Augmented Neural-Networks | Penelitian AI Facebook | https://github.com/facebook/MemNN

[6] Rahasia Kegelapan di Jantung Kecerdasan Buatan | Ulasan Teknologi MIT | https://www.technologyreview.com/s/604087/the-dark-secret-at-the-heart-of-ai/

[7] MIT 6.S094: Pembelajaran Mendalam untuk Mobil Mengemudi Sendiri | Institut Teknologi Massachusetts | https://selfdrivingcars.mit.edu/

[8] Daftar Kematian Diri Mengemudi | Wikipedia | https://en.wikipedia.org/wiki/List_of_self-driving_car_fatalities

[9] One Pixel Attack untuk Fooling Deep Neural Networks | Jiawei Su, Danilo Vasconcellos Vargas, Kouichi Sakurai | https://arxiv.org/pdf/1710.08864.pdf

[10] Institut Kanada untuk Penelitian Lanjutan Dataset | CIFAR-10 Dataset | https://www.cs.toronto.edu/~kriz/cifar.html

[11] Gambar, milik Memoir Machine Learning | https://mlmemoirs.xyz

[12] Kapasitas Jaringan Saraf Tiruan | Aosen Wang, Hua Zhou, Wenyao Xu, Xin Chen | Arxiv | https://arxiv.org/abs/1708.05029

[13] Tentang Karakterisasi Kapasitas Jaringan Saraf Tiruan Menggunakan Topologi Aljabar | William H. Guss, Ruslan Salakhutdinov | Departemen Pembelajaran Mesin, Sekolah Ilmu Komputer, Universitas Carnegie Mellon | https://arxiv.org/pdf/1802.04443.pdf

[14] Teori Informasi, Kompleksitas, dan Jaringan Saraf Tiruan | Yaser S. Abu-Mostafa | Institut Teknologi California | http://work.caltech.edu/pub/Abu-Mostafa1989nnet.pdf

[15] Teori Generalisasi dan Deep Nets, Suatu Pengantar | Sanjeev Arora | Universitas Stanford | http://www.offconvex.org/2017/12/08/generalization1/

[16] Memahami Deep Learning Membutuhkan Re-Thinking Generalisasi | Chiyuan Zhang, Samy Bengio, Moritz Hardt, Benjamin Recht, Oriol Vinyals | https://arxiv.org/pdf/1611.03530.pdf

[17] Keterbatasan Pembelajaran Dalam di Pengaturan Adversarial | Nicolas Papernot, Patrick McDaniel, Somesh Jha, Matt Fredrikson, Z. Berkay Celik, Ananthram Swami | Prosiding Simposium Eropa IEEE 1 tentang Keamanan dan Privasi, IEEE 2016. Saarbrucken, Jerman | http://patrickmcdaniel.org/pubs/esp16.pdf

[18] Pembelajaran Mesin dalam Pengaturan Permusuhan | Patrick McDaniel, Nicolas Papernot, dan Z. Berkay Celik | Universitas Negeri Pennsylvania | http://patrickmcdaniel.org/pubs/ieeespmag16.pdf

[19] Alex Krizhevsky, Ilya Sutskever, dan Geoffrey E. Hinton. Klasifikasi imagenet dengan jaringan saraf convolutional yang mendalam. Dalam Kemajuan dalam Sistem Pemrosesan Informasi Saraf Tiruan, 2012.

[20] Yaniv Taigman, Ming Yang, Marc’Aurelio Ranzato, dan Lior Wolf. Deepface: Menutup celah untuk kinerja tingkat manusiawi dalam verifikasi wajah. Dalam Prosiding konferensi IEEE pada visi komputer dan pengenalan pola, halaman 1701–1708, 2014.

[21] Karen Simonyan dan Andrew Zisserman. Jaringan convolutional yang sangat dalam untuk pengenalan gambar skala besar. Kemajuan dalam Sistem Pemrosesan Informasi Saraf, 2015.

[22] Christian Szegedy, Wei Liu, Yangqing Jia, Pierre Sermanet, Scott Reed, Dragomir Anguelov, Dumitru Erhan, Vincent Vanhoucke, Andrew Rabinovich, dkk. Melangkah lebih dalam dengan belitan. Dalam Prosiding Konferensi IEEE tentang Visi Komputer dan Pengenalan Pola (CVPR), 2015.

[23] Kaiming He, Xiangyu Zhang, Shaoqing Ren, dan Jian Sun. Menggali jauh ke dalam penyearah: Melampaui kinerja tingkat manusia pada klasifikasi imagenet. Dalam Prosiding konferensi internasional IEEE tentang visi komputer, halaman 1026-1034, 2015.

[24] Kaiming He, Xiangyu Zhang, Shaoqing Ren, dan Jian Sun. Pembelajaran residual mendalam untuk pengenalan gambar. Dalam Prosiding Konferensi IEEE tentang Visi Komputer dan Pengenalan Pola (CVPR), halaman 770-778, 2016.

[25] Geoffrey Hinton, Li Deng, Dong Yu, George E Dahl, Abdel-rahman Mohamed, Navdeep Jaitly, Andrew Senior, Vincent Vanhoucke, Patrick Nguyen, Tara N Sainath, dkk. Jaringan saraf yang dalam untuk pemodelan akustik dalam pengenalan suara: Pandangan bersama dari empat kelompok penelitian. Majalah Pemrosesan Sinyal IEEE, 29 (6): 82–97, 2012.

[26] Awni Hannun, Carl Case, Jared Casper, Bryan Catanzaro, Greg Diamos, Erich Elsen, Ryan Prenger, Sanjeev Satheesh, Shubho Sengupta, Adam Coates, dkk. Pidato yang dalam: Meningkatkan pengenalan ucapan ujung ke ujung. arXiv preprint arXiv: 1412.5567, 2014.

[27] Wayne Xiong, Jasha Droppo, Xuedong Huang, Frank Seide, Mike Seltzer, Andreas Stolcke, Dong Yu, dan Geoffrey Zweig. Mencapai kesetaraan manusia dalam pengenalan ucapan percakapan. arXiv preprint arXiv: 1610.05256, 2016.

[28] Chung-Cheng Chiu, Tara N Sainath, Yonghui Wu, Rohit Prabhavalkar, Patrick Nguyen, Zhifeng Chen, Anjuli Kannan, Ron J Weiss, Kanishka Rao, Katya Gonina, dkk. Pengenalan ucapan canggih dengan model urutan-ke-urutan. arXiv preprint arXiv: 1712.01769, 2017.

[29] Dzmitry Bahdanau, Kyunghyun Cho, dan Yoshua Bengio. Terjemahan mesin saraf dengan belajar bersama untuk menyelaraskan dan menerjemahkan. Dalam Konferensi Internasional tentang Representasi Pembelajaran, 2015.

[30] Ilya Sutskever, Oriol Vinyals, dan Quoc V Le. Sequence to sequence learning dengan jaringan saraf. Dalam Kemajuan dalam Sistem Pemrosesan Informasi Saraf Tiruan, halaman 3104–3112, 2014.

[31] Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V Le, Mohammad Norouzi, Wolfgang Macherey, Maxim Krikun, Yuan Cao, Qin Gao, Klaus Macherey, dkk. Sistem terjemahan mesin saraf Google: Menjembatani kesenjangan antara terjemahan manusia dan mesin. arXiv preprint arXiv: 1609.08144, 2016.

[32] Hany Hassan, Anthony Aue, Chang Chen, Vishal Chowdhary, Jonathan Clark, Christian Federmann, Xuedong Huang, Marcin Junczys-Dowmunt, William Lewis, Mu Li, dkk. Mencapai keseimbangan manusia pada terjemahan berita bahasa Mandarin ke bahasa Inggris otomatis. arXiv preprint arXiv: 1803.05567, 2018.

[33] Mrinmaya Sachan, Menuju Kecerdasan Buatan Literate, Departemen Pembelajaran Mesin di Universitas Carnegie Mellon, https://pdfs.semanticscholar.org/25c5/6f52c528112da99d0ae7e559500ef7532d3a.pdf