ch1-概論

1、信息論,教師：李瓊哈爾濱工業(yè)大學(xué),2024/3/20,計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,2,自我介紹,姓名：李 瓊單位：哈工大. 計(jì)算機(jī)學(xué)院. 信息對(duì)抗技術(shù)研究所聯(lián)系方式：86402861-868 (O) 13684601868 (cell)qiongli@hit.edu.cn 辦公室：科學(xué)園2A-1525,2024/3/20,計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,3,課程介紹,課程類(lèi)型：專(zhuān)業(yè)必修課

2、 學(xué) 時(shí)：24上課時(shí)間、地點(diǎn)：1-6周 周 三 3-4節(jié)正心樓207 ；周五 3-4節(jié)正心樓207 考 核: 最終成績(jī)=期末考試*70%+平時(shí)成績(jī)*30%考試時(shí)間、方式： 第8周周四 15:45-17:45， 正心樓209. 閉卷一點(diǎn)要求：不缺席、不遲到 、不早退、關(guān)手機(jī),2024/3/20,計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,4,課程介紹,教 材：《信息理論基

3、礎(chǔ)》（第3版），周蔭清. 北京航空航天大學(xué)出版社參考書(shū)：《信息論——基礎(chǔ)理論與應(yīng)用》，傅祖蕓，電子工業(yè)出版社《Elements of Information Theory》, Thomas M.Cover. John Wiley&Sons. 清華大學(xué)出版社《信息論基礎(chǔ)》， Thomas M.Cover等著，阮吉壽等譯. 機(jī)械工業(yè)出版社,2024/3/20,計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,5,課程介紹,第1章 緒論第2章

4、 信息的統(tǒng)計(jì)度量第3章 離散信源第4章 離散信道及其容量第5章 無(wú)失真信源編碼第6章 有噪信道編碼第7章 限失真信源編碼,第一章：緒論,2024/3/20,計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,7,1.1 信息1.2 通信系統(tǒng)模型1.3 信息論的形成和發(fā)展,主要內(nèi)容,信息論又稱(chēng)為通信的數(shù)學(xué)理論,2024/3/20,計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,8,客觀世界三大基本要素：物質(zhì)——材料科學(xué)能量——能源科學(xué)信息——信息科學(xué)Witho

5、ut material nothing exists,without energy nothing happens, without information nothing makes sense.,1.1 信息,2024/3/20,計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,9,,1.1 信息,現(xiàn)代化學(xué)者認(rèn)為，人類(lèi)文明經(jīng)歷了四次意義深遠(yuǎn)的革命：,2024/3/20,計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,10,1.1 信息——信息 、消息、信號(hào),消息是信息的載體和

6、具體表現(xiàn)形式(如文字、圖片、電影等),2024/3/20,計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,11,1.1 信息——信息 、消息、信號(hào),消息是信息的載體和具體表現(xiàn)形式(如文字、圖片、電影等)信息是消息中包含的有意義的內(nèi)容同一消息對(duì)不同的接收者來(lái)說(shuō)，可以包含不同的信息；同一信息，可以用不同形式的消息來(lái)載荷,2024/3/20,計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,12,1.1 信息——信息 、消息、信號(hào),信號(hào)是消息的物理表現(xiàn)形式，如聲波、光波、電磁波等消息

7、是信號(hào)的具體內(nèi)容 。,信息,消息,信號(hào),2024/3/20,計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,13,信息是無(wú)形的信息是可共享的信息是無(wú)限的是一種取之不盡、用之不竭的資源時(shí)空上的可擴(kuò)展：具有時(shí)效性；前后信息相連，會(huì)提供新信息。信息是可度量的信息的度量是信息論的重要研究?jī)?nèi)容之一,1.1 信息——信息的特性,概念一——通俗概念“信息=消息”這種概念雖然直觀通俗、容易理解，但是并不準(zhǔn)確。,電話

8、 報(bào)紙 電視 網(wǎng)絡(luò),地球繞著太陽(yáng)轉(zhuǎn),消息,這是大家都知道的事情，信息量不大,,1.1 信息,1.1 信息,概念二——廣義概念“信息是對(duì)物質(zhì)存在和運(yùn)動(dòng)形式的一般描述” “信息是認(rèn)識(shí)主體（人、生物、機(jī)器）所感受的事物運(yùn)動(dòng)狀態(tài)和變換方式”這個(gè)概念不容易定量描述，更接近于一個(gè)哲學(xué)概念。,1.1 信息

9、 1.1 信息,概念三——概率信息，又稱(chēng)為狹義信息“信息是用來(lái)消除不確定性的東西”由美國(guó)數(shù)學(xué)家香農(nóng)(Claude Elwood Shannon，1916-2001)提出來(lái)的，故又稱(chēng)香農(nóng)信息。用事件發(fā)生的概率衡量它的信息量事件發(fā)生的概率越大，它提供的信息量就越小。事件“中國(guó)足球隊(duì)0:1負(fù)于韓國(guó)足球隊(duì)”事件發(fā)生的概率越小，一旦該事件發(fā)生，它發(fā)生后提供的信息量越大事件“中國(guó)足球隊(duì)5:0力克韓國(guó)足球隊(duì)”本課程研究概率信息

10、，簡(jiǎn)稱(chēng)信息,研究對(duì)象：通用通信系統(tǒng)通信系統(tǒng)的基本問(wèn)題：在某一點(diǎn)精確或近似地恢復(fù)另一點(diǎn)發(fā)送的信息。,1.2 通信系統(tǒng)模型,信息論是通信的數(shù)學(xué)理論,2024/3/20,計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,18,1.2 通信系統(tǒng)模型,編碼器,譯碼器,信 源,信 宿,,,噪聲,干擾源,,信號(hào),通信系統(tǒng)模型,信號(hào)+噪聲,2024/3/20,計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,19,1.2 通信系統(tǒng)模型,信源：產(chǎn)生消息的源泉信宿：信息的接受者

11、編碼器：將消息變換成適合于信道傳輸?shù)男问叫旁淳幋a：壓縮信道編碼：糾錯(cuò)保密編碼：保證信息的安全性調(diào)制：將消息變換成適合信道傳輸?shù)男盘?hào)形式（物理的方法）譯碼器：編碼的逆變換信道：將信號(hào)從發(fā)射端傳到接受端的通道干擾源（噪聲源）：信道中的噪聲,2024/3/20,計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,20,1.2 通信系統(tǒng)模型,信 源,信源編碼器,信道編碼器,保密編碼器,信源譯碼器,信道譯碼器,信

12、 宿,,,,,⊕,,,,⊕,,解密譯碼器,干擾源,,調(diào)制器,解調(diào)器,,,,,信道,細(xì)化的通信系統(tǒng)模型,,2024/3/20,計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,21,1.2 通信系統(tǒng)模型,信 源,信源編碼器,信道編碼器,保密編碼器,信源譯碼器,信道譯碼器,信 宿,,,,,⊕,,,,⊕,,解密譯碼器,干擾源,,調(diào)制器,解調(diào)器,,,,,信道,細(xì)化的通信系統(tǒng)模

13、型,,2024/3/20,計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,22,,1.2 通信系統(tǒng)模型——信源編碼的主要目的,信 道,過(guò)不去！,2024/3/20,計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,23,,1.2 通信系統(tǒng)模型——信源編碼的主要目的,壓縮！使信號(hào)能夠更加有效地傳輸信息！,信 道,呵呵，這樣就能過(guò)去啦！,2024/3/20,計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,24,1.2 通信系統(tǒng)模型,信源編碼器,信道編碼器,信

14、 源,保密編碼器,信源譯碼器,信道譯碼器,信 宿,,,,,⊕,,,,⊕,,解密譯碼器,干擾源,,調(diào)制器,解調(diào)器,,,,,信道,細(xì)化的通信系統(tǒng)模型,,2024/3/20,計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,25,,1.2 通信系統(tǒng)模型——信道編碼的主要目的,糾錯(cuò)！使信號(hào)能夠更加可靠地傳輸信息！,信 道,“今天12點(diǎn)見(jiàn)面！”,“明天12點(diǎn)見(jiàn)面！”,2024/3/20,計(jì)算機(jī)科學(xué)與技術(shù)

15、學(xué)院,26,信 源,信源編碼器,信道編碼器,保密編碼器,信源譯碼器,信道譯碼器,信 宿,,,,,⊕,,,,⊕,,解密譯碼器,干擾源,,調(diào)制器,解調(diào)器,,,,,信道,細(xì)化的通信系統(tǒng)模型,,,1.2 通信系統(tǒng)模型,2024/3/20,計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,27,,使信號(hào)更加適合在信道中傳輸！,調(diào)幅示意圖,調(diào)制信號(hào)載波信號(hào)已調(diào)制信號(hào),,1.2 通信

16、系統(tǒng)模型——調(diào)制的主要目的,2024/3/20,計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,28,,1.2 通信系統(tǒng)模型——調(diào)制的主要目的,調(diào)制示意圖,2024/3/20,計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,29,1.2 通信系統(tǒng)模型,信 源,信源編碼器,信道編碼器,保密編碼器,信源譯碼器,信道譯碼器,信 宿,,,,,⊕,,,,⊕,,解密譯碼器,干擾源,,調(diào)制器,解調(diào)器,,,,,信道,細(xì)化的通信系

17、統(tǒng)模型,,香農(nóng)第一定理——為了無(wú)失真地傳輸信源信息，信源編碼的極限是什么？香農(nóng)第二定理——在有噪信道中無(wú)失真地通信，信道編碼的極限是多少？香農(nóng)第三定理——如果允許一定量的失真，信源編碼的極限是什么？,信息論的研究目標(biāo)：以通用的通信系統(tǒng)為研究對(duì)象，找到信息傳輸過(guò)程的共同規(guī)律，以提高信息傳輸?shù)?有效性、可靠性、安全性數(shù)字通信的三項(xiàng)基本技術(shù)：數(shù)據(jù)壓縮、數(shù)據(jù)糾錯(cuò)、數(shù)據(jù)加密數(shù)據(jù)香農(nóng)奠定了這三項(xiàng)

18、技術(shù)的理論基礎(chǔ)！,2024/3/20,計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,31,1.3 信息論的形成和發(fā)展,工程技術(shù)背景：1948年時(shí)的通信技術(shù)已有較大發(fā)展，主要有：電報(bào)（Morse，1830’s）電話（Bell，1876）AM無(wú)線電（1900’s 早期）電視（1925-1927）FM無(wú)線電（Armstrong，1936）聲碼器（Dudley，1936）……,2024/3/20,計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,32,1.3 信息論的形成和發(fā)展,

19、理論背景：1924 H.Nyquist開(kāi)始分析電報(bào)信號(hào)傳輸中，脈沖速率與信道帶寬的關(guān)系1928 R.V.L.Hartley 提出信息應(yīng)該由隨機(jī)事件樣本空間中元素的個(gè)數(shù)的對(duì)數(shù)值來(lái)衡量（信息量 H = N logs）1948 C.E.Shannon在《貝爾系統(tǒng)技術(shù)雜志》發(fā)表了《通信中的數(shù)學(xué)原理》,2024/3/20,計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,33,1.3 信息論的形成和發(fā)展,一些重要事件：1949 C.E.Shannon 在《貝爾系統(tǒng)技

20、術(shù)雜志》發(fā)表了《保密通信的數(shù)學(xué)理論》1952 D.A.Huffman 提出了Huffman編碼1954 P.Elias 提出了卷積碼1959 S.K.Kullback 提出了鑒別信息的概念1961 C.E.Shannon 發(fā)表了《雙路通信信道》，提出了多用戶(hù)信息論1963 A.N.Kolmogorov 提出了通用編碼1982 G.Ungerboeck 實(shí)現(xiàn)了網(wǎng)絡(luò)編碼調(diào)制1993 Turbo碼的性能已經(jīng)非常接近于理論極限,2

21、024/3/20,計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,34,1.3 信息論的形成和發(fā)展——應(yīng)用,在通信領(lǐng)域中的應(yīng)用壓縮語(yǔ)音壓縮（G.711, …）音頻壓縮（MP3…）圖像壓縮（JPEG，JPEG2000…）視頻壓縮（MPEG-1，MPEG-2，MPEG-4…）計(jì)算機(jī)文件壓縮（zip,winrar…）…..,2024/3/20,計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,35,1.3 信息論的形成和發(fā)展——應(yīng)用,糾錯(cuò)編碼漢明碼RS碼……在密碼學(xué)與密碼分

22、析學(xué)中的應(yīng)用金融領(lǐng)域、生物醫(yī)學(xué)、邏輯學(xué)、心理學(xué)、語(yǔ)言學(xué)、生物學(xué)、管理科學(xué)…….凡是可以抽象為通信過(guò)程，并用概率描述的領(lǐng)域都可以用信息論作指導(dǎo),附 錄,2024/3/20,計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,37,香農(nóng)生平簡(jiǎn)介,1916年4月30日出生于美國(guó)密執(zhí)安州的加洛德一個(gè)商人和教師的家庭。1936年獲得了密西根州大學(xué)的數(shù)學(xué)和電氣工程學(xué)學(xué)士學(xué)位。1937年獲MIT電氣工程系碩士學(xué)位。1940年獲得MIT數(shù)學(xué)博士學(xué)位。1941年至

23、1972年間，在貝爾實(shí)驗(yàn)室工作。1958~1978年，在MIT任教。2001年2月24日在馬薩諸塞州的Medford因老年癡呆癥與世長(zhǎng)辭，享年84歲。,2024/3/20,計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,38,香農(nóng)的主要學(xué)術(shù)貢獻(xiàn),碩士論文《A Symbolic Analysis of Relay and Switching circuits》(繼電器和開(kāi)關(guān)電路的符號(hào)分析)研究了布爾代數(shù)用于交換理論中的問(wèn)題，被認(rèn)為是20世紀(jì)最重要、最著名

24、的一篇碩士論文。二戰(zhàn)時(shí)對(duì)保密通信興趣濃厚，他的工作 對(duì)羅斯?？偨y(tǒng)和邱吉爾首相的保密語(yǔ)音通信意義重大。1948年，發(fā)表構(gòu)思了八年的《A Mathematical Theory of Communication》，標(biāo)志著現(xiàn)代信息論誕生。1949年，發(fā)表了《 Communication Theory of Secrecy System 》，奠定了現(xiàn)代密碼學(xué)的基礎(chǔ)。1959年，發(fā)表《Coding Theorem for a Discre

25、te Source with a Fidelity Criterion》，推動(dòng)了信息率失真理論研究。1961年，發(fā)表《Two-Way Communication Channels》，開(kāi)拓了多用戶(hù)信息理論研究。,2024/3/20,計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,39,香農(nóng)的特點(diǎn),理工融合于一身大數(shù)學(xué)家Kolmogrov：“在我們的時(shí)代，當(dāng)人的知識(shí)越來(lái)越專(zhuān)業(yè)化的時(shí)候，香農(nóng)是科學(xué)家的一個(gè)卓越典范。他能把深?yuàn)W而抽象的數(shù)學(xué)思想和對(duì)關(guān)鍵技術(shù)問(wèn)題的概括