Supercomputer kehilangan 77 TB data penting peneliti belajar dari pengalaman

Universitas Kyoto di Jepang baru-baru ini mengalami kesalahan teknis yang menghapus banyak informasi berharga.

Universitas Kyoto, lembaga penelitian terkemuka di Jepang, baru-baru ini sempat kehilangan banyak data penelitian setelah sistem superkomputernya. tidak sengaja menghapus 77 terabyte data sudah dipastikan tidak dapat dipulihkan.
Seharusnya proses backup menjadi produser rutin.

Hilangnya data terjadi antara 14 Desember dan 16 Desember, menghapus sekitar 34 juta file milik 14 kelompok penelitian berbeda yang  telah menggunakan sistem superkomputer.

Universitas mengoperasikan sistem compute HP Cray dan sistem penyimpanan DataDirect ExaScaler

Tidak jelas jenis file apa secara khusus hilang atau apa yang menyebabkan sistem backup malfungsi, meskipun pihak universitas telah mengatakan  setidaknya data milik empat kelompok berbeda tidak akan dapat dipulihkan lagi.

Pengoperasin supercomputer di Kyoto tidak murah. Harganya mencapai ratusan dolar perjam, pengoperasian dapat berlangsung berhari hari dan membutuhkan power sangat besar.

Kyoto, merupakan salah satu sekolah dihormati di Jepang dan menerima hibah dan pendanaan yang signifikan, secara resmi menerbitkan rincian tentang insiden hilangnya data pada pertengahan Desember.

Update 1 Januari 2022
Informasi terakhir dari Universitas Kyoto kehilangan data penelitian penting sebesar 77TB dari superkomputernya karena Hewlett Packard Enterprise (HPE) mengeluarkan pembaruan perangkat lunak yang menyebabkan skrip tidak berfungsi dan menghapus data cadangan. Akibatnya, sebagian besar data yang dihapus hilang selamanya.

Awalnya, spesialis dari Kyoto mengira universitas kehilangan hingga 100TB, tetapi ternyata batas bencana adalah 77TB data.

HPE memberi update yang menyebabkan skrip menghapus file log data lebih dari sepuluh hari tidak aktif.
Tapi skrip tidak hanya menghapus file log lama yang disimpan bersama dengan backup di sistem penyimpanan berkapasitas tinggi, malah menghapus semua file dari backup, dan menghapus 77TB data penelitian penting.

HPE mengakui bahwa update perangkat lunaknya menyebabkan masalah dan HPE bertanggung jawab 100%.

"Dari 17:32 pada 14 Desember 2021 hingga 12:43 pada 16 Desember 2021, karena cacat pada program yang mencadangkan penyimpanan sistem superkomputer (diproduksi oleh Hewlett Packard Jepang), sistem superkomputer [tidak berfungsi] ," bunyi pernyataan HPE yang diterjemahkan oleh Google. "Akibatnya, terjadi kecelakaan di mana beberapa data penyimpanan berkapasitas tinggi (/LARGE0) terhapus secara tidak sengaja. [...] Log cadangan masa lalu yang awalnya tidak diperlukan karena masalah dalam modifikasi program yang ceroboh dan prosedur penerapannya dalam perbaikan fungsi program pencadangan oleh Japan Hewlett Packard, pemasok sistem komputer super. Proses penghapusan file tidak berfungsi sebagaimana proses penghapusan file di bawah direktori /LARGE0."

Perusahaan membuat perangkat backup telah menunda proses backup di superkomputer.
Namun pihak Universitas Kyoto berencana melanjutkan pencadangan pada akhir Januari setelah memperbaiki masalah perangkat lunak dan skrip dan mengambil tindakan untuk mencegah terulangnya kembali.

Supercomputing berbeda dari komputasi normal karena sebagian besar kecepatan dan kemampuannya dalam memanfaatkan beberapa sistem computer untuk memproses perhitungan matematis yang kompleks.
Data yang dihasilkan untuk analisa juga sedemikian besar. Jangan bayangkan data dengan kapasitas storage pada computer biasa.

Keunggulannya dibandingkan komputasi normal menjadikannya supercomputer sebagai perangkat berharga dalam penelitian ke berbagai bidang, termasuk pemodelan iklim dan atmosfer, fisika, ilmu vaksin, dan segala sesuatu di antaranya.

Sayangnya, semua itu tidak ada artinya jika mesin gagal bekerja dengan baik. Alias sistem membackup data dengan baik
Jadi biasakan membackup data penting, masalah supercomputer saja bisa gagal sampai menghilangkan data.

Meta menjadwalkan pembelian 350 ribu unit GPU Nvidia H100. Jumlah yang sangat besar, dan unit tersebut menjadi tambahan GPU baru. Harga Nvidia GPU H100 memang wah. Nanti akan tersedia di retail, sesuai persediaan yang ada.

Berapa lama sebuah GPU dapat bekerja. Menurut sumber usia pakai 2 tahun, paling lama 3 tahun. Sistem GPU lebih intensif bekerja di datacenter, khusus untuk Machine Learning dan Ai. Walau berjalan waktu kerusakan akan lebih minimum.

Supercomputer Summit beroperasi tahun 2018, menjadi supercomputer terkuat kelas exascale pertama. Badan peneliti ORNL sudah memiliki supercomputer penganti dengan supercomputer Frontier. Biasanya supercomputer lama akan dijual

Di era 80an sebuah computer Cray-2 banyak digunakan untuk penelitian. Dibanding smartphone seperti iPhone 12 lebih banyak untuk chatting, media sosial sampai gaming. Apakah iPhone 12 lebih cepat dari supercomputer Cray-2. BIla tidak sebesar apa ruangan yang dibutuhkan Cray-2 agar setara iPhone.

Beberapa teknologi, mundur di awal pengunaan teknologi smartphone. Harddisk salah satu perangkat yang akan ditinggalkan. Siapa yang membutuhkan baterai backup. Jaringan 4G tidak lama pindah lagi akan ke 5G. Plasma TV yang boros power lenyap.