信息學(xué)基礎(chǔ)
Fundamental of Information
大綱
課程大綱
1.緒論
信息的概念,通信系統(tǒng)模型介紹,仙農(nóng)信息論的發(fā)展介紹。
2.信息的統(tǒng)計(jì)度量
自信息量、條件自信息量、互信息量、條件互信息量、離散集的平均自信息量、離散集的平均互信息量以及連續(xù)隨機(jī)變量的互信息量和相對(duì)熵的概念及其性質(zhì)與關(guān)系。
3.離散信源
信源的數(shù)學(xué)模型、離散無(wú)記憶信源、離散平穩(wěn)信源和馬爾可夫信源。
4.離散信道及其容量
信道的數(shù)學(xué)模型、離散無(wú)記憶信道、離散無(wú)記憶擴(kuò)展信道、信道的組合、信道容量。
5.無(wú)失真信源編碼。
編碼的概念、分組碼、定長(zhǎng)碼、變長(zhǎng)碼。
6.有噪信道編碼
噪聲信道的編碼問(wèn)題、錯(cuò)誤概率與編碼方法、有噪信道編碼定理。
7.限失真信源編碼
失真度測(cè)量、信息率失真函數(shù)、限失真信源編碼定理和逆定理、信息率失真函數(shù)的計(jì)算。
參考教材
國(guó)內(nèi)經(jīng)典教材
信息論基礎(chǔ)教程
李亦農(nóng)
信息理論基礎(chǔ)
周蔭清