Informasi

Definisi informasi, secara teknis, pertama kali diperkenalkan oleh Ralph Hartley pada tahun 1928 dengan papernya yang berjudul Transmission of Information. Definisi tersebut bertujuan untuk menghilangkan faktor psikologi dan variasinya, sehingga menjadikan informasi adalah suatu entitas yang terukur. Banyaknya informasi, menurut Hartley, adalah sebanding dengan jumlah simbol sekunder dari suatu sumber simbol primer yang tiap simbol(primer)nya memiliki peluang kemunculan/transmisi yang sama. Informasi ini dirumuskan oleh persamaan sebagai berikut:

H = n\,log_{b}\,S,

dimana b adalah basis dari fungsi log, S  adalah jumlah simbol primer, dan n adalah jumlah simbol sekunder. Sebagai contoh: transmisi dijital dari sumber yang menghasilkan bilangan biner memiliki nilai S = 2. Apabila receiver menerima message yang terbentuk dari 1 simbol primer (kita sebut message ini adalah simbol sekunder, misal: 0 atau 1) maka besarnya informasi: H = log_{2}\,2 = 1 bit. Apabila receiver menerima message yang terbentuk dari 2 simbol primer (ada 4 kemungkinan simbol sekunder: 00, 01, 10, 11), maka H= 2\,log_{2}\,2 = 2 bit.

20 tahun kemudian, Shannon melihat sumber informasi sebagai suatu model proses random. Artinya banyaknya informasi yang dapat dibentuk dalam suatu proses tergantung dari probabilitas kemunculan simbol dari sumbernya. Jika source X adalah suatu random variable dengan space R = \{x_{1}, x_{2}, ..., x_{r}\} dan p_{i} adalah probabilitas kemunculan X = x_{i}, maka informasi dapat dirumuskan sebagai berikut :

I(X = x_{i}) = - log_{b}\, (p_{i})

Sedangkan nilai rata-rata informasi (biasa disebut juga dengan entropy) dirumuskan sebagai berikut:

H(X) = -\sum\limits_{i=1}^{r}\,p_{i}\,\,log_{b}\,p_{i}.

Sebagai contoh, dalam transmisi dijital (R = \{0, 1\}), asumsikan peluang kemunculan untuk simbol 0 adalah sama dengan peluang kemunculan simbol 1 ( p(X=0) = p(X=1) = 1/2), maka rata-rata informasi dari 4 message adalah:
H = -\frac{1}{2}\,log_{2}\,\frac{1}{2}-\frac{1}{2}\,log_{2}\,\frac{1}{2}-\frac{1}{2}\,log_{2}\,\frac{1}{2}-\frac{1}{2}\,log_{2}\,\frac{1}{2} = 2 bit.
Artinya kita dapat menggunakan simbol: 00, 01, 10, atau 11 untuk mengirimkan 4 message.

Dari contoh di atas, secara umum dapat dikatakan bahwa informasi menurut Hartley adalah kasus khusus dari informasi yang didefinisikan oleh Shannon, yaitu saat sumber informasi terdistribusi uniform.

Seberapa besarkah informasi yang bisa kita peroleh dari suatu kejadian?

Berdasarkan persamaan di atas, jika peluang kejadian tersebut adalah P(X = x) maka besarnya informasi adalah I(X) = - log\,P(X=x).
Semakin kecil peluang suatu kejadian maka semakin besar informasi yang bisa kita peroleh ketika peristiwa tersebut terjadi. Sebaliknya, semakin besar peluang suatu kejadian maka semakin kecil informasi yang kita peroleh, seperti yang ditunjukkan pada gambar di atas. Sebagai contoh, adanya berita hujan di Bogor memberikan sedikit informasi dibandingkan berita turun salju di Bogor.

Fungsi I(X) juga menjadi ukuran ketidakpastian. Semakin kecil peluang suatu kejadian artinya semakin besar ketidakpastiannya, dan semakin besar peluang suatu kejadian artinya semakin kecil ketidakpastian peristiwa tersebut. Sebagai contoh, suatu hari ketika pagi mendung, lalu kita melihat ramalan cuaca menunjukkan 90% kemungkinan hari itu akan hujan adalah suatu peristiwa yang hampir pasti. Namun apabila ramalan cuaca menunjukkan 10% kemungkinan akan hujan, maka ketidakpastian kejadian tersebut tinggi.

Advertisements

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s