20410442 - IN420 - TEORIA DELL'INFORMAZIONE

Introdurre questioni fondamentali della teoria della trasmissione dei segnali e nella loro analisi quantitativa. Concetto di entropia e di mutua informazione. Mostrare la struttura algebrica soggiacente. Applicare i concetti fondamentali alla teoria dei codici, alla compressione dei dati e alla crittografia

Curriculum

scheda docente | materiale didattico

Mutuazione: 20410442 IN420 - TEORIA DELL'INFORMAZIONE in Scienze Computazionali LM-40 BONIFACI VINCENZO

Programma

1. Introduzione alla teoria dell'informazione
Trasmissione affidabile dell'informazione. Contenuto informativo secondo Shannon. Misure di informazione. Entropia, mutua informazione, divergenza informazionale. Compressione dati. Correzione d'errore. Teoremi di elaborazione dei dati. Disuguaglianze fondamentali. Diagrammi d'informazione. Divergenza informazionale e massima verosimiglianza.

2. Codifica di sorgente e compressione dati
Sequenze tipiche. Tipicità in probabilità. Proprietà di equipartizione asintotica. Codifica a blocco e a lunghezza variabile. Tasso di codifica. Teorema della codifica di sorgente. Compressione dati senza perdita. Codice di Huffman. Codici universali. Compressione Ziv-Lempel.

3. Codifica di canale
Capacità di canale. Canali discreti senza memoria. Informazione trasportata da un canale. Criteri di decodifica. Teorema della codifica di canale con rumore.

4. Ulteriori codici ed applicazioni
Spazio di Hamming. Codici lineari. Matrice generatrice e matrice di controllo. Codici ciclici. Codici hash.


Testi Adottati

Francesco Fabris. Teoria dell'informazione, codici, cifrari. Bollati Boringhieri, 2001.


Modalità Erogazione

Lezioni frontali con esercitazioni frontali.

Modalità Frequenza

La frequenza è consigliata ma non obbligatoria.

Modalità Valutazione

Esame orale.

scheda docente | materiale didattico

Mutuazione: 20410442 IN420 - TEORIA DELL'INFORMAZIONE in Scienze Computazionali LM-40 BONIFACI VINCENZO

Programma

1. Introduzione alla teoria dell'informazione
Trasmissione affidabile dell'informazione. Contenuto informativo secondo Shannon. Misure di informazione. Entropia, mutua informazione, divergenza informazionale. Compressione dati. Correzione d'errore. Teoremi di elaborazione dei dati. Disuguaglianze fondamentali. Diagrammi d'informazione. Divergenza informazionale e massima verosimiglianza.

2. Codifica di sorgente e compressione dati
Sequenze tipiche. Tipicità in probabilità. Proprietà di equipartizione asintotica. Codifica a blocco e a lunghezza variabile. Tasso di codifica. Teorema della codifica di sorgente. Compressione dati senza perdita. Codice di Huffman. Codici universali. Compressione Ziv-Lempel.

3. Codifica di canale
Capacità di canale. Canali discreti senza memoria. Informazione trasportata da un canale. Criteri di decodifica. Teorema della codifica di canale con rumore.

4. Ulteriori codici ed applicazioni
Spazio di Hamming. Codici lineari. Matrice generatrice e matrice di controllo. Codici ciclici. Codici hash.


Testi Adottati

Francesco Fabris. Teoria dell'informazione, codici, cifrari. Bollati Boringhieri, 2001.


Modalità Erogazione

Lezioni frontali con esercitazioni frontali.

Modalità Frequenza

La frequenza è consigliata ma non obbligatoria.

Modalità Valutazione

Esame orale.