Dens Blog

Catatan Hari Ke-60 PKL

Hari :  Kamis

Tanggal : 28 Februari 2019

Hari ini saya belajar konfigurasi Ceph Deploy. Tidak hanya Ceph nya saja, Ceph Deploy juga mempunyai konfigurasi tersendiri. Konfigurasi nya seperti pengaturan repositori, versi ceph yang akan di install, dan lain-lain.

Untuk konfigurasi repositori dan versi ceph sangat membantu, dengan menggunakan ceph deploy kita tidak perlu lagi melakukan installasi ceph pada node satu persatu. Juga, menggunakan ceph deploy membantu kita untuk mengatur Cluster. Seperti menginstall atau menghapus Ceph OSD, Monitor, Metadata Server, Rados Gateway, dan Manager. Untuk konfigurasi Ceph OSD, Monitor dan kawan-kawan harus dilakukan secara manual menggunakan Ceph Monitor.

Setelah sempat mempelajari Ceph Deploy saya mulai lanjut belajar CephFS. CephFS merupakan Shared Filesystem yang dimiliki Ceph. Untuk saat ini, CephFS belum siap untuk production dikarenakan tidak stabil.

Belajar CephFS mulai dari membaca docs yang ada [disini]. Disana juga dijelaskan cara installasi nya dan penggunaan nya. Installasi yang saya lakukan pada Cluster saya berjalan lancar. Selanjutnya tinggal testing Mounting ke Client. Untuk mounting nya saya mencoba menggunakan kernel driver dan FUSE. Mounting lewat kernel driver gagal karena beberapa option mounting yang diperlukan tidak ada. Lalu saya mencoba mounting lewat FUSE. Untuk FUSE, Ceph sudah menyediakan paket nya, namanya "ceph-fuse". Mounting lewat FUSE berjalan lancar.

Setelah berhasil di mount, kemudian saya tes untuk benchmarking. Tes pertama dengan menyalin isi file berukuran 800 MiB. Kecepatan yang didapat saat menyalin adalah 3-5 MiB/s. Kalau dihitung, 800 MiB tadi akan selesai di salin dalam waktu 4-5 Menit. Pada saat itu tidak ada sama sekali client kecuali saya sendiri. Hasil yang dapat saya simpulkan saat ini CephFS pada Cluster saya kecepatan nya lambat.

Setelah mencoba CephFS, saya hapus FS nya dan menghapus Metadata Server yang menyimpan Metadata. Setelah selesai, saya mulai membuat Artikel Troubleshooting Ceph. Bagian yang baru selesai hanya kata pembuka saja.

Sore hari ini saya mengirim Invoice ke JNE seperti biasanya dan laporan pengiriman Invoice yang seperti biasanya juga.

Oke, cukup sekian dari yang dapat saya sampaikan. Terima kasih.

Kemarin saya sempat mempelajari Arsitektur nya Ceph. Setelah dibaca saya mengetahui banyak yang belum saya ketahui tentang Ceph Storage Cluster. Mulai dari cara Ceph menyimpan Objek, CRUSH, Cluster Map, Erasure Coding, dan Replication.

Setelah mempelajari Arsitektur Ceph, saya mempelajari beberapa Troubleshooting yang ada pada Ceph. Troubleshooting pada Ceph ada 3, yakni troubleshooting monitor, troubleshooting osd, dan troubleshooting pg.

Pertama saya belajar troubleshooting monitor terlebih dahulu. Monitor merupakan manager yang penting untuk mengatur cluster. Tanpa adanya monitor pada Cluster, maka tidak bisa berjalan. Cluster yang baik memiliki monitor yang berjumlah ganjil, seperti 1, 2:3. 3:5, 5:7. Ini artinya 3 monitor dalam cluster minimal harus 2 yang up dan tergabung ke quorum. Sedangkan 1 nya boleh down dan keluar dalam quorum.

Troubleshooting pertama yang saya paham adalah troubleshooting Clock Skew. Troubleshooting dasar seperti Firewall dan monitor yang tidak mau berjalan juga sudah saya pelajari.

Hari ini masih ada training, seperti biasa kalau sudah sore saya bantu-bantu bersih ruang training. Lalu sorenya saya mempersiapkan laporan pengiriman Invoice seperti biasa. Setelah disiapkan invoice di kirim dan di laporkan.

Oke, cukup sekian dari yang dapat saya sampaikan. Terima kasih.

Mengoperasikan Ceph Storage Cluster terkadang memang sulit, apalagi bagi kita yang belum banyak pengalaman dan ilmu administrasi nya. Terkadang pada saat pembuatan cluster atau saat mengoperasikan cluster, ada saatnya cluster mengalami Error.

Catatan Hari Ke-58 PKL

Hari : Selasa

Tanggal : 26 Februari 2019

Training VMware vSphere masih berjalan, seperti biasanya saat ada training saya membelikan sesuatu seperti Jus, Makan Siang, dan Cemilan Veny untuk peserta Training.

Mulai hari ini saya menaikan frekuensi pengecekan Olshop. Biasanya yang satu kali perjam, saya naikan menjadi satu kali per setengah jam. Tujuan nya agar setiap pesanan yang baru masuk dapat lebih cepat di proses. Selain itu, saya juga berusaha mempercepat pembungkusan buku.

Pagi nya saya mengecek sisa token listrik kantor, terlihat sisa 60rb. Jika sudah 60rb, token haruslah dibeli secepatnya. Lalu saya belajar Arsitektur nya Ceph, disana ada yang namanya CephX. CephX merupakan sistem otentikasi yang ada pada Ceph Storage Cluster. CephX menggunakan keyring dan token untuk otentikasi dan verifikasi. CephX digunakan oleh seluruh daemon Ceph. Termasuk daemon Monitor, Client, OSD, dan MDS.

Gambar : Ceph Architecture -- High Availabilty Authentication

Sejauh yang saya tahu, Monitor lebih merupakan "Manager" dari Ceph Storage Cluster. Penamaan monitor menurut saya salah. Ditambah lagi, dimulai dari versi Kraken, Ceph mengeluarkan daemon baru bernama Manager. Fungsi manager menyediakan web dashboard untuk ceph cluster. Namun daemon manager belum diwajibkan pada versi Kraken. Baru pada versi Luminous keatas manager diawajibkan agar cluster berjalan dengan lancar.

Siang nya saya membeli jus untuk peserta training. Setelah membeli jus, ada beberapa pesanan buku, setelah pesanan buku dibungkus, saya kirim paket buku nya ke JNE.  Setelah mengirim paket buku, saya melanjutkan belajar arsitektur nya Ceph.

Sorenya saya mempersiapkan pengiriman Invoice, setelah selesai disiapkan saya mengirim nya ke JNE. Setelah mengirim Invoice ke JNE, saya membuat laporan pengiriman Invoice nya. Training hari ini sudah selesai. Kalau training sudah selesai, seperti biasanya saya membantu bersih-bersih. Setelah bersih-bersih saya laporan pengiriman Buku.

Oke, cukup sekian dari yang dapat saya sampaikan. Terima kasih.

Sebelumnya saya sudah membahas Tutorial Setup Ceph Bagian 1 dan Bagian 2. Kali ini saya akan membahas Setup Ceph Storage Cluster bagian 3 : Block Device. Tutorial ini sendiri akan membahas bagaimana cara membuat pool, rados block device, mengoperasikan rbd di cluster, serta implementasi dan integrasi rbd dengan Linux Client dan Proxmox.

Ceph Block Device Overview :

Block Device atau Rados Block Device (RBD) adalah salah satu jenis penyimpanan yang di tawarkan oleh Ceph. Block Device merupakan Image yang bisa digunakan oleh Hypervisor untuk Disk VM nya, atau bisa langsung di Mounting seperti Harddisk biasa di Client Linux. RBD mendukung fitur seperti Snapshot, Thin Provisioned, Resizeable, dan Cloning.

Membuat Block Image
Untuk membuat RBD, kita membutuhkan Ceph Cluster yang kondisinya HEALTH_OK. Cek status dengan menggunakan perintah ceph -s atau ceph health detail di Monitor, OSD, atau Client.

1. Membuat Pool
Membuat Block Device diperlukan sebuah Pool untuk menyimpan objek image dari block device. RBD memungkinkan nya. Membuat pool sangatlah mudah, standarnya kita hanya perlu memperimbangkan nama pool, jumlah placement group (pg_num), dan jumlah placement group per placement (pgp_num).

Perintah membuat Pool :

ceph osd pool create {nama pool} {pg_num} {pgp_num}

Sebagai contoh:
ceph osd pool create block-device-pool 120 120

Note : Untuk saat ini, jumlah placement group per placement (pgp_num) harus sama dan tidak boleh kurang dari jumlah placement group (pg_num). Jadi pgp_num =< pg_num.

Untuk melihat pool yang ada di Cluster bisa gunakan perintah sebagai berikut

ceph osd lspool
ceph osd pool ls
ceph osd utilization

2. Membuat Block Image
Membuat Block image sangatlah mudah, kita hanya perlu memperimbangkan ukuran dan fitur dari Block image yang akan dibuat. Perintah di bawah digunakan untuk membuat Block image dan ukurannya.

rbd create --size {ukuran-block-image} {nama-block-image}

Sebagai contoh:
rbd create --size 32G testing-block-device

Operasi Dasar
Resize Ukuran Block Image
Untuk mengubah ukuran image block image, biasanya perlu adanya akses ke Cluster dengan menggunakan keyring.

1. Melihat Daftar Block Image
Melihat daftar block image yang ada dalam cluster penting, apalagi kalau kita lupa nama block image yang sudah kita buat sebelumnya, tentu ini akan sangat membantu.

rbd list

Sebagai contoh :

2. Melihat Info Block Image
Melihat spesifikasi dari block image sangatlah penting. Disini kita bisa melihat Nama, Ukuran, Format, Fitur, dan Flag sebuah block image.

rbd info {nama-block-image}

Sebagai contoh :
rbd info vm-100-disk-1

3. Menamai Ulang Nama Block Image
Untuk menamai ulang nama dari block image yang ada pada cluster, gunakan perintah dibawah ini.

rbd rename {nama-block-image-lama} {nama-block-image-baru}

Sebagai contoh :
rbd rename vm-100-disk-1 disk-1-punya-vm-100

4. Snapshot Block Image
Snapshot sebuah block image penting kalau kita ingin membuat Backup/Restore Point yang akan tersimpan di dalam image nya. Gunakan perintah dibawah untuk membuat Snapshot.

rbd snap create/add {nama-block-image-}@{nama-snapshot} --pool {nama-pool-nya}

Sebagai contoh :
rbd snap create testing-snapshot@snap-pertamaku --pool rbd

5. Restore Snapshot Block Image

6. Menghapus Snapshot Block Image
Untuk menghapus snapshot dari block image, kita bisa menghapus nya satu per satu atau semuanya. Gunakan sesuai kebutuhan. Perintah dibawah untuk menghapus satu snapshot yang ada di block image.

rbd snap remove/rm {nama-block-image}@{nama-snapshot} --pool {nama-pool-nya}

Sebagai contoh :
rbd snap rm testing-snapshot@snap-pertamaku --pool rbd

Sedangkan untuk menghapus seluruh snapshot yang tersimpan di dalam image sekaligus, gunakan perintah ini.

rbd snap purge {nama-block-image} --pool {nama-pool-nya}

Sebagai contoh :
rbd snap purge testing-snapshot --pool rbd

7. Menghapus Block Image
Menghapus block image dari Pool sangatlah mudah, jalankan perintah dibawah untuk menghapus satu block image dari sebuah pool.

rbd remove {nama-block-image} --pool {nama-pool-nya}

Sebagai contoh :
rbd remove vm-101-disk-1 --pool rbd


Note : Mungkin kamu tidak perlu menambahkan opsi --pool kalau block image yang akan dihapus ada di pool rbd. Nama pool rbd dijadikan sebagai nama default apabila opsi pool tidak digunakan.

Lab



1. Mount Block Device di Linux Client
Ceph Block Device bisa dimount seperti Harddisk biasa. Namun saat ini Ceph Block Device hanya mendukung klien yang menggunakan kernel Linux atau Linux Client saja.

Disini saya akan mempraktekan cara mount Block image di Ubuntu Server 16.04 sehingga bisa menjadi Block Device menggunakan Kernel Linux. Klien yang ingin mount harus terlebih dahulu menginstall ceph dan librbd agar bisa mount block image tersebut. Install ceph dan librbd bisa menggunakan APT.

Setelah syarat sebelumnya sudah terpenuhi selanjutnya klien harus punya Keyring dan file konfigurasi Cluster (ceph.conf). Dapatkan kedua ini dari Monitor dengan menjalankan perintah ini di Node yang menjadi Admin sebuah Cluster.

ceph-deploy config push {klien}

Selanjutnya ambil keyring dengan username admin di Node Monitor. Perintahnya:

ssh {node monitor} sudo scp /etc/ceph/ceph.client.admin.keyring {klien}:/etc/ceph/

Oke, otentikasi untuk menghubungi Cluster sudah selesai, selanjutnya adalah mounting Ceph Block image ke klien.

sudo modprobe ceph
rbd map {nama block image} --pool {nama pool}

Untuk melihat apakah Block Device sudah dimapping di klien, lihat apakah ada file block yang sudah dimapping pada direktori /dev/

Jika sudah, selanjutnya mount ceph block device yand ada di /dev/ menggunakan perintah:

sudo mkdir /mnt/ceph-block-device
sudo mkfs.ext4 /dev/{block device}
sudo mount -a /dev/{block device} /mnt/ceph-block-device

Sebagai contoh:
sudo mkdir /mnt/ceph-block-device
sudo mkfs.ext4 /dev/rbd0
sudo mount -a /dev/rbd0p1 /mnt/ceph-block-device

2. Menggunakan Ceph Block Device di Proxmox
Jika anda sering jalan-jalan atau ngoprek Proxmox, pasti menemukan menu "Ceph" di Proxmox Web GUI, benar bukan? kalau di klik pasti ada error 500, itu karena kita belum mengkonfigurasi Cluster Ceph nya.

Yang akan saya praktekan kali ini beda dengan yang ada di menu "Ceph" pada Proxmox Web GUI. Itu karena konfigurasinya beda dan paket nya juga beda. Di Proxmox yang kita lihat pada Proxmox Web GUI itu paket nya "pveceph", sedangkan yang saya akan praktekan adalah "ceph".
Setelah membuat Keyring untuk mengotentikasi selanjutnya kita bisa langsung ke intinya. Masuk ke Web GUI Proxmox. Lalu masuk ke Datacenter > Storage > Add > RBD (external).


Saat mengklik RBD (external) di Web GUI Proxmox, akan ada pop up yang tampilan nya kurang lebih akan seperti ini.


Sebagai contoh disini saya mempunyai sebuah Cluster dengan nama "Ceph", Monitor Quorum nya :

ceph-admin=192.168.40.147:6789/0
node1=192.168.40.144:6789/0
node2=192.168.40.111:6789/0
node3=192.168.40.112:6789/0

Dan mempunyai Pool yang namanya block-image-pool, saya juga mempunyai file keyring dengan username proxmox sebagai otentikasinya.


Sesuai dari data yang saya punya, saya ubah konfigurasi Add RBD (external) nya. Khusus untuk ID, ini akan dijadikan sebagai nama dari storage yang akan terlihat dari Web GUI Proxmox. Username diisi sesuai dengan username pada file keyring. File keyring nya harus berada pada direktori /etc/pve/priv/ceph/


Note : ID ini haru sama dengan prefix nama file keyring. Contohnya kita ingin membuat ID Storage RBD nya  rbd-storage, maka nama file keyring nya haruslah rbd-storage.keyring.

Untuk mengecek apakah kita sudah terhubung ke cluster atau belum, cek dengan masuk ke Host Proxmox, Klik 2x, Lalu masuk ke Bagian nama storage (disini id nya rbd-storage).


Sip, kalau sudah terlihat summary nya dari Web GUI Proxmox, maka Penyimpanan RBD external untuk Proxmox VM sudah siap digunakan. Selamat mencoba.

3. Mengintegrasikan RBD Dengan OpenStack



Sip, Cukup sekian dari yang dapat saya sampaikan. Semoga bermanfaat.

Catatan Hari Ke-57 PKL

Hari : Senin

Tanggal : 25 Februari 2019

Pagi hari di hari senin biasanya akan ada pesanan Buku di Online Shop Excellent. Kali ini ada pesanan T-Shirt Being Tired is Not a Badge of Honor excellent. Jarang sekali ada pesanan T-Shirt ini di Online Shop milik excellent.

Baju nya saya bungkus seperti membungkus pesanan buku pada umumnya. Setelah dibungkus saya belum bisa kirim karena masih jam 8.30, JNE dekat kantor baru buka pada jam 10.30 saja.

Saya melanjutkan tugas kemarin tentang membuat Artikel Tutorial Setup Ceph Storage Cluster bagian 3, Block Device. Kemarin baru selesai setengah, sisanya setengah lagi berupa bercobaan aplikasi Ceph Storage Cluster di Klien Proxmox.

Siang nya sektiaran jam 01.15 - 01.20 saya dimintai tolong untuk membeli Materai di kantor Pos. Pada Jam 2, setelah saya selesai dari pulang membeli Materai, kemudian saya dimintai tolong lagi untuk membeli Rambutan Parakan oleh ka Alifa. Tempat biasa saya membeli Rambutan Parakan tidak jauh dari tempat biasanya saya membeli Jus, bisa dibilang sangat dekat. Udah sampe ditempat nya, saya lihat lihat kondisi rambutan nya.

Untuk warna merah nya kurang mendominasi. Satu ikat hanya ada 85-90% Rambutan Parakan yang merah. Untuk harga agak mahal pas pertama saya tanya, 20 ribu. Lalu saya tawar menjadi 15 ribu, abang nya tidak mau, dia maunya 35 ribu per 2 ikat. Setelah memikirkan beberapa pertimbangan dari Warna dan Harga, saya coba cari alternatif nya ditempat lain.

Setelah mencari di tempat-tempat lain, hanya ada 1 penjual dari yang dapat saya temui di jalan. Satu itu menjual rambutan nya hampir kuning semua huff.. Akhirnya saya kembali ke tempat saya beli Rambutan yang biasanya, di pertigaan SMPN 18.

Sorenya seperti biasa saya mempersiapkan amplop pengiriman Invoice, lalu mengirim Invoice ke JNE. Setelah dikirim baru bisa laporan pengiriman Invoice nya. Dan juga karena ada pengiriman dari Online Shop, saya laporan pengiriman Buku juga, namun pengiriman nya bukan buku. Akan salah kalau Subjek Email yang dikirim menggunakan laporan pengiriman Buku, seharusnya laporan pengiriman Baju, gitu.

Oke, cukup sekian dari yang dapat saya sampaikan. Terima kasih.

--- Sedang dalam Pembuatan :D ---

Catatan Hari Ke-55 PKL

Hari : Kamis

Tanggal : 21 Februari 2019

Pagi yang seperti biasa saya berangkat dari jam 07.10 dari rumah. Siang nya saya Seperti biasa membeli Galon di Indomaret atau di Warung.

--- Sedang dalam tahap pembuatan, ditunggu yah :) ---

Oke, cukup sekian dari yang dapat saya sampaikan. Terima kasih.