"Informazione non è conoscenza" ( Frank Zappa)

Nel 1865 Clausius definì l’entropia di un sistema in funzione di variabili macroscopiche come le quantità di calore e la temperatura; per farlo non ebbe alcune necessità di fare ipotesi sulla costituzione microscopica dello stesso sistema. Tuttavia, dal momento che l’entropia esprime una proprietà intrinseca, divenne necessaria la ricerca di una sua formulazione in termini meccanici; lo stesso Clausius invitò a fare ciò, indicando l’opportunità di studiare “il moto chiamato calore”. Un  approccio di tipo microscopico obbliga però ad affrontare la descrizione di un gran numero (~ 10²³) di particelle identiche (molecole) in movimento ad alta velocità media (nel caso dell’idrogeno, a temperatura ambiente, dell'ordine dei km/s). Per descrivere tale sistema attraverso gli stati meccanici, si dovrebbe trattare una equazione vettoriale del moto, s = s(t), per ciascuna particella; questa, però, è una impresa impossibile anche per grossi calcolatori. Quando Maxwell decise di seguire l’invito di Clausius e affrontò l’argomento da un punto di vista statistico, non si avevano sufficienti informazioni sulla costituzione atomica della materia; la distribuzione statistica delle velocità delle particelle, quindi, non poteva essere ricavata da effettive osservazioni, ma doveva necessariamente essere dedotta da valutazioni di probabilità a priori, ottenute con modelli meccanici idealizzati. Di conseguenza, Maxwell costruì una teoria fisica del calore che si basava su un modello teorico e non sulla descrizione dell’effettivo fenomeno. In particolare, prendendo in esame il mescolamento di due gas, Maxwell osservò che il processo può considerarsi irreversibile, con un conseguente aumento di entropia, nel caso in cui i due gas siano di natura diversa, ma può anche considerarsi reversibile nel caso in cui i due gas abbiano la stessa natura: il mescolamento infatti non modifica il sistema e l’entropia non aumenta. Egli giunse alla soluzione di questo paradosso associando l’entropia ad un concetto nuovo per l’epoca, la conoscenza del sistema da parte dell’osservatore: “L'energia dissipata è energia che non possiamo controllare e dirigere a piacere, così come l'energia di quell'agitazione confusa delle molecole che chiamiamo calore. Ora, la confusione, come il termine correlato ordine, non è una proprietà delle cose materiali in sé, ma è solo relativa alla mente che le percepisce”.

Questo approccio spinse Maxwell a contrapporre le possibilità di conoscenza degli uomini a quelle di un ipotetico essere microscopico, il famoso “diavoletto di Maxwell” dotato di capacità “così acute da seguire ciascuna molecola nel suo corso, e capace di fare ciò che a noi è effettivamente impossibile. […] Supponiamo che un recipiente sia diviso in due porzioni, A e B, per mezzo di una parete con un piccolo foro, e che un essere in grado di vedere le singole molecole possa aprire e chiudere il foro, in modo da permettere soltanto alle molecole più veloci di passare da A a B e soltanto a quelle più lente di passare da B ad A. In questo modo, senza compiere lavoro, egli innalzerà la temperatura di B e abbasserà quella di A, in contraddizione con la seconda legge della termodinamica”.

Con questo celebre esperimento mentale Maxwell si convinse dell’aspetto puramente statistico  della seconda legge della termodinamica e del suo stretto legame con la teoria della probabilità: “La vera logica per questo mondo è il calcolo delle probabilità, che tiene conto del grado di probabilità che è presente, o dovrebbe esserlo, in ogni mente umana ragionevole. Questa branca della matematica, che generalmente si pensa sia utile per giocare a carte, giocare a dadi e scommettere, e perciò è considerata altamente immorale, è l'unica "matematica per uomini pratici", come noi dovremmo essere.”

Nel 1877 L. Boltzmann ebbe un'intuizione geniale riguardo all'interpretazione microscopica dell'entropia. Prendendo in esame il gas contenuto in un recipiente separabile in due parti distinte, e supponendo che tutte le posizioni delle molecole siano equipossibili, si può affermare che la configurazione complessiva del sistema dipende dalla conoscenza della disposizione di ciascuna particella nelle due parti del contenitore.

Paragonando le particelle del gas a palline bianche e nere, Boltzmann affermò: “Immaginiamo un gran numero di palline bianche alle quali viene aggiunto un numero differente di palline nere, identiche alle precedenti tranne che per il colore. All’inizio, supponiamo che tutte le palline bianche siano da una parte e quelle nere dall’altra. Ma se le agitiamo, o le esponiamo a qualche influenza che alteri costantemente le loro posizioni relative, dopo qualche tempo le troveremo mescolate.”

Nel caso in cui il gas sia costituito da due sole particelle, le possibili configurazioni microscopiche sono quattro; si può, però, osservare che la prima e l’ultima rappresentano lo stesso macrostato, poiché in entrambi i casi in ciascuna delle parti in cui è stato suddiviso il volume si trova una sola particella. Analizzando lo stesso fenomeno con un numero maggiore di particelle, sia esso n, si deduce che il numero delle configurazioni risulta essere 2n. Di conseguenza la probabilità di trovare n particelle, per esempio, a sinistra è p=1/2n ed esiste un solo microstato in cui tutte le particelle sono a destra, indipendentemente dal valore di n: la probabilità di tale situazione tende a zero al crescere di n.

n =2	n=3

Boltzmann arrivò a concludere che lo stato macroscopico verso cui evolve spontaneamente un sistema è quello che corrisponde al maggior numero di stati microscopici, ed è dunque il più probabile a priori; egli sviluppò così in termini quantitativi l’interpretazione probabilistica dell’entropia, e ricavò la famosa espressione statistica dell’entropia S = k log p (dove S indica l’entropia, k è una costante moltiplicativa e p indica il numero di configurazioni microscopiche corrispondenti allo stato macroscopico considerato).  Infatti, supponiamo che S sia funzione di p, cioè S = S(p); se un sistema è composto da due parti, dette S₁ e S₂ le entropie e p₁ e p₂ le probabilità degli stati di queste due parti, si ha che S₁=f(p₁) e S₂=f(p₂).

L’entropia del sistema complessivo è la somma delle due entropie S = S₁ + S₂, mentre la probabilità del sistema è il prodotto delle due probabilità, vale a dire  p = p₁ p₂; da cui segue che  f(p₁ p₂) = f(p₁) + f(p₂).

Boltzmann arrivò alla sua formulazione osservando che una funzione che soddisfa alla relazione funzionale f(xy) = f(x) + f(y) è proprio la funzione logaritmo.

« La geniale intuizione di Boltzmann è stata quella di far corrispondere l’equilibrio macroscopico alla distribuzione energetica realizzata dal massimo numero di configurazioni microscopiche, esprimendo l’entropia in funzione di tale numero. Di conseguenza, egli ha potuto interpretare quantitativamente, e non solo qualitativamente, la seconda legge della termodinamica in termini probabilistici: come una legge, cioè, che afferma la schiacciante prevalenza del passaggio spontaneo da stati meno probabili a stati più probabili (o anche da stati meno «confusi» a stati più «confusi», da stati più «ordinati» a stati più «disordinati» ), fino a raggiungere la distribuzione di equilibrio. » [Da G. Zanarini, Entropia, informazione, complessità, op.cit.]

Il paradosso del diavoletto rimase per molti anni una questione aperta, finché il fisico Leó Szilárd (1898-1964), presentando il suo lavoro « Sulla diminuzione di entropia in un sistema termodinamico per intervento di esseri intelligenti », propose un nuovo esperimento mentale che diede altre prospettive al concetto di entropia. Il risultato di Szilard fu quello di formalizzare per la prima volta lo stretto legame tra informazione ed entropia che con il diavoletto di Maxwell restava implicito. Questo lavoro piacque molto anche a coloro che iniziavano a riflettere, in una prospettiva interdisciplinare, sugli sviluppi teorici relativi all’informazione e alla comunicazione, tra cui John von Neumann, Norbert Wiener, Léon Brillouin.

Nel 1949 Claude Elwood Shannon (1916-2001) e Warren Weawer (1894-1978), studiosi di teoria della comunicazione, proposero una misura quantitativa dell’informazione tramite la funzione H che codificava questa misura, detta entropia d’informazione, e che coincide con la formula dell’entropia di un sistema fisico discreto. Ecco la formula elaborata dai due matematici:

dove p_k è la probabilità che si presenti il k-esimo evento.

Facciamo un esempio notevole di entropia informazionale. Consideriamo la seguente, curiosa riproduzione del volto del Presidente americano Barack Obama, tratta da questo sito:

Essa è in realtà un mosaico di ben 2250 tessere realizzate con 200 diverse immagini di precedenti Presidenti USA. Questa immagine-mosaico rende intuitivo il fatto the l'informazione relativa al volto di Obama, cioè il suo riconoscimento, dipende dal numero e dalla varietà di simboli (le diverse tessere) che codificano il messaggio. Una valutazione della quantità di informazione associata all'immagine e data, in prima approssimazione, proprio dall'entropia informazionale:

dove  (k = 1, 2, 3, ..., 200) indica la frequenza con la quale la k-esima faccia di Presidente si ripresenta nel mosaico.

La sorprendente analogia tra termodinamica e teoria delle comunicazioni aprì la strada per interessanti successivi approfondimenti. Léon Brillouin (1899-1969), nel suo famoso libro Science and Information Theory, del 1960, affermò che esiste una precisa relazione tra la variazione dell’entropia di un sistema e l’acquisizione di informazioni relative al sistema stesso. Poiché la formula di Shannon e la formula dell’entropia hanno la stessa espressione (a parte il coefficiente moltiplicativo), si può dunque interpretare l’entropia come mancanza di informazione sul sistema considerato.

“L’entropia è considerata in generale come espressione del disordine di un sistema fisico. Più precisamente, si può dire che l’entropia misura la mancanza di informazione sulla strutture effettiva del sistema. Questa mancanza di informazione implica la possibilità di una grande varietà di strutture microscopiche diverse che sono, in pratica, impossibili da distinguere le une dalle altre. Poiché una qualunque di queste strutture può esistere realmente a un istante dato, la mancanza di informazione corrisponde ad un disordine reale. […] L’entropia è una misura della mancanza di informazione dettagliata relativamente a un sistema fisico: più grande è l’informazione, più piccola sarà l’entropia. L’informazione rappresenta un termine negativo nell’entropia di un sistema, sicché si può definire l’informazione come entropia negativa.”

È quindi possibile diminuire l’entropia di un sistema aumentando l’informazione su di esso, tramite misure più dettagliate della sua configurazione, e l’informazione può così cambiarsi in entropia negativa (o « neg-entropia »). A sua volta però, come già aveva puntualizzato Szilard, l’informazione può ottenersi soltanto a spese dell’entropia negativa di qualche sistema fisico, ed è quindi impossibile per questa via giungere ad una violazione del secondo principio della termodinamica.