Komputasi resistif IBM dapat mempercepat AI secara besar-besaran - dan membawa kita lebih dekat ke Otak Positronik Asimov

Jaringan saraf kecerdasan buatan AI

Dengan kemajuan pesat baru-baru ini dalam pembelajaran mesin telah datang kebangkitan untuk jaringan saraf - perangkat lunak komputer yang memecahkan masalah sedikit seperti otak manusia, dengan menggunakan proses kompleks pencocokan pola yang didistribusikan di banyak node virtual, atau 'neuron'. Kekuatan komputasi modern memungkinkan jaringan saraf mengenali gambar, ucapan, dan wajah, serta mengemudikan mobil tanpa pengemudi, dan menang di Go dan Jeopardy. Kebanyakan ilmuwan komputer berpikir bahwa itu hanyalah permulaan apa yang akhirnya menjadi mungkin. Sayangnya, perangkat keras yang kami gunakan untuk melatih dan menjalankan jaringan neural hampir tidak terlihat seperti arsitekturnya. Artinya, perlu waktu berhari-hari atau bahkan berminggu-minggu untuk melatih jaringan neural untuk menyelesaikan masalah - bahkan pada cluster komputasi - dan kemudian membutuhkan banyak daya untuk menyelesaikan masalah setelah mereka dilatih.

Komputasi neuromorfik mungkin menjadi kunci untuk memajukan AI

Para peneliti di IBM bertujuan untuk mengubah semua itu, dengan menyempurnakan teknologi lain yang, seperti jaringan saraf, pertama kali muncul beberapa dekade lalu. Secara longgar disebut komputasi resistif, konsepnya adalah memiliki unit komputasi yang bersifat analog, kecil dalam substansi, dan dapat menyimpan riwayatnya sehingga mereka dapat belajar selama proses pelatihan. Mempercepat jaringan neural dengan perangkat keras bukanlah hal baru bagi IBM. Baru-baru ini mengumumkan penjualan beberapa nya Chip TrueNorth ke Lawrence National Labs untuk penelitian AI. Desain TrueNorth bersifat neuromorfik, yang berarti bahwa chip secara kasar mendekati arsitektur neuron dan sinapsis otak. Meskipun clock rate-nya lambat 1 KHz, TrueNorth dapat menjalankan jaringan saraf dengan sangat efisien karena jutaan unit pemrosesan kecilnya yang masing-masing meniru neuron.

Hingga saat ini, akselerator jaringan saraf seperti TrueNorth telah dibatasi pada bagian pemecahan masalah dari penerapan jaringan saraf. Pelatihan - proses melelahkan untuk membiarkan sistem menilai dirinya sendiri pada kumpulan data pengujian, dan kemudian menyesuaikan parameter (disebut bobot) hingga mencapai keberhasilan - masih perlu dilakukan di komputer tradisional. Beralih dari CPU ke GPU dan silikon khusus telah meningkatkan kinerja dan mengurangi konsumsi daya yang dibutuhkan, tetapi prosesnya masih mahal dan memakan waktu. Disitulah pekerjaan Baruoleh peneliti IBM Tayfun Gokmen dan Yuri Vlasov masuk. Mereka mengusulkan arsitektur chip baru, menggunakan komputasi resistif untuk membuat ubin jutaan Unit Pemrosesan Resistif (RPU), yang dapat digunakan untuk pelatihan dan menjalankan jaringan saraf.



Menggunakan Komputasi Resistif untuk memecahkan hambatan pelatihan jaringan saraf

Jaringan neural dalam memiliki setidaknya satu lapisan tersembunyi, dan seringkali ratusan. Itu membuat mereka mahal untuk ditiru pada perangkat keras tradisional.Komputasi Resistif adalah topik besar, tetapi secara kasar, dalam desain IBM setiap unit pemrosesan kecil (RPU) meniru sinapsis di otak. Ini menerima berbagai input analog - dalam bentuk voltase - dan berdasarkan 'pengalaman' masa lalu menggunakan fungsi berbobot untuk memutuskan hasil apa yang akan diteruskan ke set elemen komputasi berikutnya. Sinapsis memiliki tata letak yang membingungkan, dan belum sepenuhnya dipahami di otak, tetapi chip dengan elemen resistif cenderung mengaturnya dengan rapi dalam array dua dimensi. Misalnya, karya terbaru IBM menunjukkan bagaimana mungkin untuk mengaturnya dalam array 4.096 kali 4.096.

Karena unit komputasi resistif dikhususkan (dibandingkan dengan inti CPU atau GPU), dan tidak perlu mengonversi informasi analog ke digital, atau mengakses memori selain miliknya, unit ini dapat bekerja dengan cepat dan menghabiskan sedikit daya. Jadi, secara teori, jaringan saraf yang kompleks - seperti yang digunakan untuk mengenali rambu jalan di mobil yang bisa mengemudi sendiri, misalnya - dapat langsung dimodelkan dengan mendedikasikan elemen komputasi resistif ke setiap node yang dijelaskan perangkat lunak. Namun, karena RPU tidak tepat - karena sifat analognya dan sejumlah noise di sirkuitnya - algoritme apa pun yang berjalan padanya perlu dibuat tahan terhadap ketidaktepatan yang melekat dalam elemen komputasi resistif.

Algoritme jaringan saraf tradisional - baik untuk eksekusi dan pelatihan - telah ditulis dengan asumsi unit pemrosesan digital presisi tinggi yang dapat dengan mudah memanggil nilai memori apa pun yang diperlukan. Menulis ulang mereka sehingga setiap node lokal dapat mengeksekusi sebagian besar sendiri, dan tidak tepat, tetapi menghasilkan hasil yang masih cukup akurat, diperlukan banyak inovasi perangkat lunak.

Agar algoritme perangkat lunak baru ini bekerja dalam skala besar, kemajuan juga diperlukan dalam perangkat keras. Teknologi yang ada tidak cukup untuk membuat 'sinapsis' yang dapat dikemas cukup dekat, dan beroperasi dengan daya rendah di lingkungan yang bising, untuk menjadikan pemrosesan resistif sebagai alternatif praktis untuk pendekatan yang ada. Eksekusi waktu proses terjadi lebih dulu, dengan logika untuk melatih jaringan saraf pada komputer resistif hibrida tidak dikembangkan hingga 2014. Pada saat itu, para peneliti di Universitas Pittsburg dan Universitas Tsinghua mengklaim bahwa solusi seperti itu dapat menghasilkan keuntungan 3-ke-4-besaran dalam efisiensi daya dengan biaya hanya sekitar 5% dalam akurasi.

Peneliti IBM mengklaim desain berbasis RPU akan jauh lebih efisien untuk aplikasi jaringan saraf

Peneliti IBM mengklaim desain berbasis RPU akan jauh lebih efisien untuk aplikasi jaringan saraf, ditunjukkan dalam Tabel ini dari makalah mereka.

Beralih dari eksekusi ke pelatihan

Pekerjaan baru dari IBM ini mendorong penggunaan komputasi resistif lebih jauh, mendalilkan sistem di mana hampir semua komputasi dilakukan pada RPU, dengan sirkuit tradisional hanya diperlukan untuk mendukung fungsi serta input dan output. Inovasi ini mengandalkan penggabungan versi algoritme pelatihan jaringan neural yang dapat berjalan pada arsitektur berbasis RPU dengan spesifikasi perangkat keras untuk RPU yang dapat menjalankannya.

Sejauh mempraktikkan ide, sejauh ini komputasi resistif sebagian besar merupakan konstruksi teoretis. Memori resistif pertama (RRAM) tersedia untuk pembuatan prototipe pada tahun 2012, dan tidak diharapkan menjadi produk utama selama beberapa tahun lagi. Dan chip tersebut, sementara mereka akan membantu sistem memori skala, dan menunjukkan kelangsungan penggunaan teknologi resistif dalam komputasi, tidak mengatasi masalah pemrosesan seperti sinaps.

Jika RPU bisa dibangun, langit adalah batasnya

Desain RPU yang diusulkan diharapkan dapat mengakomodasi berbagai arsitektur jaringan neural dalam (DNN), termasuk yang terhubung sepenuhnya dan konvolusional, yang membuatnya berpotensi berguna di hampir seluruh spektrum aplikasi jaringan saraf. Menggunakan teknologi CMOS yang ada, dan mengasumsikan RPU dalam ubin elemen 4.096 kali 4.096 dengan waktu siklus 80 nanodetik, salah satu ubin ini akan dapat mengeksekusi sekitar 51 GigaOps per detik, menggunakan daya yang sangat kecil. Sebuah chip dengan 100 ubin dan satu inti CPU pelengkap dapat menangani jaringan dengan bobot hingga 16 miliar sementara hanya mengonsumsi 22 watt (hanya dua di antaranya yang sebenarnya dari RPU - sisanya dari inti CPU yang diperlukan untuk membantu memasukkan data masuk) dan keluar dari chip dan memberikan kontrol keseluruhan).

Itu adalah angka yang mengejutkan dibandingkan dengan apa yang mungkin terjadi ketika menenggak data melalui jumlah inti yang relatif lebih sedikit bahkan dalam sebuah GPU (pikirkan sekitar 16 juta elemen komputasi, dibandingkan dengan beberapa ribu). Menggunakan chip yang dikemas padat dengan ubin RPU ini, para peneliti mengklaim bahwa, setelah dibangun, sistem AI berbasis komputasi resistif dapat mencapai peningkatan kinerja hingga 30.000 kali dibandingkan dengan arsitektur saat ini, semuanya dengan efisiensi daya 84.000 GigaOps per detik. per watt. Jika ini menjadi kenyataan, kita mungkin sedang dalam perjalanan untuk mewujudkan visi fantasi robot Isaac Asimov Otak positronik.

Copyright © Seluruh Hak Cipta | 2007es.com