20410442 - IN420 - TEORIA DELL'INFORMAZIONE

Introdurre questioni fondamentali della teoria della trasmissione dei segnali e nella loro analisi quantitativa. Concetto di entropia e di mutua informazione. Mostrare la struttura algebrica soggiacente. Applicare i concetti fondamentali alla teoria dei codici, alla compressione dei dati e alla crittografia.

Curriculum

scheda docente | materiale didattico

Programma

1. Introduzione alla teoria dell'informazione
Trasmissione affidabile dell'informazione. Contenuto informativo secondo Shannon. Misure di informazione. Entropia, mutua informazione, divergenza informazionale. Compressione dati. Correzione d'errore. Teoremi di elaborazione dei dati. Disuguaglianze fondamentali. Diagrammi d'informazione. Divergenza informazionale e massima verosimiglianza.

2. Codifica di sorgente e compressione dati
Sequenze tipiche. Tipicità in probabilità. Proprietà di equipartizione asintotica. Codifica a blocco e a lunghezza variabile. Tasso di codifica. Teorema della codifica di sorgente. Compressione dati senza perdita. Codice di Huffman. Codici universali. Compressione Ziv-Lempel.

3. Codifica di canale
Capacità di canale. Canali discreti senza memoria. Informazione trasportata da un canale. Criteri di decodifica. Teorema della codifica di canale con rumore.

4. Ulteriori codici ed applicazioni
Spazio di Hamming. Codici lineari. Matrice generatrice e matrice di controllo. Codici ciclici. Codici hash.


Testi Adottati

Francesco Fabris. Teoria dell'informazione, codici, cifrari. Bollati Boringhieri, 2001.


Bibliografia Di Riferimento

Thomas M. Cover, Joy A. Thomas. Elements of Information Theory. Wiley, 1991. Venkatesan Guruswamy, Atri Rudra, Madhu Sudan. Essential Coding Theory. Bozza disponibile online, 2019. Richard E. Blahut. Algebraic Codes for Data Transmission. Cambridge University Press, 2003. Timothy C. Bell, John G. Cleary, Ian H. Witten. Text Compression. Prentice-Hall, 1990.

Modalità Erogazione

Lezioni frontali con esercitazioni frontali.

Modalità Frequenza

La frequenza è consigliata ma non obbligatoria.

Modalità Valutazione

Esame orale.

scheda docente | materiale didattico

Programma

1. Introduzione alla teoria dell'informazione
Trasmissione affidabile dell'informazione. Contenuto informativo secondo Shannon. Misure di informazione. Entropia, mutua informazione, divergenza informazionale. Compressione dati. Correzione d'errore. Teoremi di elaborazione dei dati. Disuguaglianze fondamentali. Diagrammi d'informazione. Divergenza informazionale e massima verosimiglianza.

2. Codifica di sorgente e compressione dati
Sequenze tipiche. Tipicità in probabilità. Proprietà di equipartizione asintotica. Codifica a blocco e a lunghezza variabile. Tasso di codifica. Teorema della codifica di sorgente. Compressione dati senza perdita. Codice di Huffman. Codici universali. Compressione Ziv-Lempel.

3. Codifica di canale
Capacità di canale. Canali discreti senza memoria. Informazione trasportata da un canale. Criteri di decodifica. Teorema della codifica di canale con rumore.

4. Ulteriori codici ed applicazioni
Spazio di Hamming. Codici lineari. Matrice generatrice e matrice di controllo. Codici ciclici. Codici hash.


Testi Adottati

Francesco Fabris. Teoria dell'informazione, codici, cifrari. Bollati Boringhieri, 2001.


Bibliografia Di Riferimento

Thomas M. Cover, Joy A. Thomas. Elements of Information Theory. Wiley, 1991. Venkatesan Guruswamy, Atri Rudra, Madhu Sudan. Essential Coding Theory. Bozza disponibile online, 2019. Richard E. Blahut. Algebraic Codes for Data Transmission. Cambridge University Press, 2003. Timothy C. Bell, John G. Cleary, Ian H. Witten. Text Compression. Prentice-Hall, 1990.

Modalità Erogazione

Lezioni frontali con esercitazioni frontali.

Modalità Frequenza

La frequenza è consigliata ma non obbligatoria.

Modalità Valutazione

Esame orale.

scheda docente | materiale didattico

Programma

1. Introduzione alla teoria dell'informazione
Trasmissione affidabile dell'informazione. Contenuto informativo secondo Shannon. Misure di informazione. Entropia, mutua informazione, divergenza informazionale. Compressione dati. Correzione d'errore. Teoremi di elaborazione dei dati. Disuguaglianze fondamentali. Diagrammi d'informazione. Divergenza informazionale e massima verosimiglianza.

2. Codifica di sorgente e compressione dati
Sequenze tipiche. Tipicità in probabilità. Proprietà di equipartizione asintotica. Codifica a blocco e a lunghezza variabile. Tasso di codifica. Teorema della codifica di sorgente. Compressione dati senza perdita. Codice di Huffman. Codici universali. Compressione Ziv-Lempel.

3. Codifica di canale
Capacità di canale. Canali discreti senza memoria. Informazione trasportata da un canale. Criteri di decodifica. Teorema della codifica di canale con rumore.

4. Ulteriori codici ed applicazioni
Spazio di Hamming. Codici lineari. Matrice generatrice e matrice di controllo. Codici ciclici. Codici hash.


Testi Adottati

Francesco Fabris. Teoria dell'informazione, codici, cifrari. Bollati Boringhieri, 2001.


Bibliografia Di Riferimento

Thomas M. Cover, Joy A. Thomas. Elements of Information Theory. Wiley, 1991. Venkatesan Guruswamy, Atri Rudra, Madhu Sudan. Essential Coding Theory. Bozza disponibile online, 2019. Richard E. Blahut. Algebraic Codes for Data Transmission. Cambridge University Press, 2003. Timothy C. Bell, John G. Cleary, Ian H. Witten. Text Compression. Prentice-Hall, 1990.

Modalità Erogazione

Lezioni frontali con esercitazioni frontali.

Modalità Frequenza

La frequenza è consigliata ma non obbligatoria.

Modalità Valutazione

Esame orale.