A Priori, A Posteriori, Extrinsic LLR

Log-likelihood Ratio (LLR) adalah representasi perbandingan antara 2 kemungkinan nilai, dalam bentuk logarithm. Misalkan perbandingan antara suatu sinyal BPSK $latex u_k$ apakah bernilai +1 atau -1, maka LLR dari $latex u_k$ adalah $latex L(u_k) = \ln(\frac{p(u_k = +1)}{p(u_k = -1)})$. Representasi nilai logarithm ini memudahkan kita mengukur seberapa jauh/dekat suatu sinyal terhadap nilai +1 atau … Continue reading A Priori, A Posteriori, Extrinsic LLR

Advertisements

Viterbi Algorithm

Slide berikut saya buat untuk office hour mata kuliah coding theory, term 2-1, di JAIST. Profesor Tad Matsumoto memberikan tugas: "decode the received signal with Viterbi Algorithm". Ada 2 teknik decoding, yaitu dengan hard-decision decoding dan soft-decision decoding. Oleh karena Prof. tidak memberikan informasi mengenai binary source yang dikirim, maka tidak dapat dipastikan seberapa banyak error atau tidaknya data sinyal … Continue reading Viterbi Algorithm

Huffman Coding

Huffman Coding adalah jenis source coding yang paling efisien. Berikut adalah algoritma sederhana dari Huffman Coding: alokasikan dua sumber informasi yang memiliki peluang kemunculan terkecil ke codeword terpanjang yang perbedaan keduanya terletak di simbol terakhir, tambahkan peluang kemunculan dua sumber di  (1) sehingga menjadi satu sumber informasi yang baru, lalu lakukan hal sama pada no. … Continue reading Huffman Coding

Encoding (part 2: noisy coding)

Bayangkan dalam satu kali SMS yang dibatasi oleh 160 karakter kita bisa mengirimkan informasi yang banyak dengan menggunakan beberapa kata yang disingkat yang masih bisa dimengerti oleh si penerima SMS. Tulisan saya sebelumnya mengenai noiseless coding telah menunjukkan bahwa hal itu bisa dilakukan. Noiseless Coding Theorem mengajarkan kita bahwa sumber informasi bisa dikodekan sedemikian efisien … Continue reading Encoding (part 2: noisy coding)

Encoding (part 1: noiseless coding)

.: Tulisan ini bertujuan untuk menjelaskan dasar dari teknik pengkodean (selanjutnya disebut encoding) :. Encoding tidak terlepas dari permasalahan saat transfer data dari suatu lokasi ke lokasi lain atau saat pengambilan data yang disimpan (data storage). Fokus dari permasalahan adalah pada pengemasan informasi dan deteksi serta koreksi error data. Dari permasalahan tersebut, encoding dapat dikategorikan … Continue reading Encoding (part 1: noiseless coding)

Informasi

Definisi informasi, secara teknis, pertama kali diperkenalkan oleh Ralph Hartley pada tahun 1928 dengan papernya yang berjudul Transmission of Information. Definisi tersebut bertujuan untuk menghilangkan faktor psikologi dan variasinya, sehingga menjadikan informasi adalah suatu entitas yang terukur. Banyaknya informasi, menurut Hartley, adalah sebanding dengan jumlah simbol sekunder dari suatu sumber simbol primer yang tiap simbol(primer)nya … Continue reading Informasi

Network Coding

Network coding merupakan suatu bagian disiplin ilmu jaringan (networking) dan teori informasi (information theory), dimana ilmu ini mempelajari manipulasi data dalam suatu kerangka jaringan (network) guna (diantaranya) meningkatkan throughput dan sifat robust dari suatu data. Teori ini pertama kali diperkenalkan oleh Rudolf Ahlswede pada tahun 2000 dalam papernya untuk IEEE Transactions on Information Theory yang … Continue reading Network Coding