Le bruit, l'entropie et la néguentropie en communication

Le bruit est un phénomène omniprésent et inévitable dans tout processus de communication, qu'il soit technique ou humain. Il se manifeste par des distorsions ou des altérations du message original, conduisant à une divergence entre le signal émis et le signal reçu. En théorie de l'information, le bruit est tout ce qui entrave la transmission fidèle de l'information. Il peut prendre diverses formes : un grésillement sur une ligne téléphonique (bruit technique), une ambiguïté linguistique (bruit sémantique), ou des préjugés chez le récepteur (bruit psychologique). La présence de bruit réduit la qualité de la communication et, par extension, la quantité d'information utile transférable.

Développée par Claude Shannon, l'entropie est un concept fondamental en théorie de l'information. Elle mesure l'incertitude associée à une source d'information ou la quantité moyenne d'information générée par cette source. Plus une source est imprévisible, plus son entropie est élevée, et plus elle est capable de générer de l'information. À l'inverse, une source totalement prévisible a une entropie nulle et ne transmet aucune information nouvelle. Mathématiquement, l'entropie H d'une source discrète avec n symboles et des probabilités d'occurrence pᵢ est définie par :

Cette formule exprime que l'information est liée à la surprise : plus un événement est rare (faible pᵢ), plus sa survenue apporte de l'information. L'unité de mesure de l'entropie est le bit, lorsque le logarithme est en base 2. Dans un système de communication, l'entropie de la source représente le potentiel maximal d'information à transmettre.

La néguentropie, souvent appelée entropie négative, est un concept qui trouve son origine dans les travaux de Léon Brillouin et s'inscrit en contrepoint de l'entropie. Alors que l'entropie mesure le désordre ou l'incertitude, la néguentropie mesure l'ordre, l'organisation ou la quantité d'information utile présente dans un système. Brillouin a postulé qu'une observation ou une mesure effectuée sur un système réduit son incertitude, ce qui correspond à une augmentation de la néguentropie. En d'autres termes, l'acquisition d'information permet de structurer ou d'organiser un système, réduisant son entropie interne. Dans le contexte de la communication, un message de haute néguentropie est un message clair, précis et pertinent, qui réduit l'incertitude du récepteur et lui permet de prendre des décisions ou de comprendre efficacement. La néguentropie est donc intimement liée à l'efficacité de la communication : une communication efficace tend à augmenter la néguentropie chez le récepteur en lui fournissant de l'information structurée et réductrice d'incertitude.

Ces trois concepts sont intrinsèquement liés dans l'analyse des processus de communication. Le bruit augmente l'incertitude au niveau du récepteur, car il ajoute des éléments aléatoires ou indésirables au signal. Cette augmentation d'incertitude peut être interprétée comme une augmentation de l'entropie du message reçu par rapport au message émis. En conséquence, le bruit réduit la néguentropie que le récepteur peut extraire du signal, car l'information utile est noyée ou altérée. L'objectif de tout système de communication est de minimiser l'impact du bruit afin de maximiser la néguentropie transmise et perçue, c'est-à-dire de permettre une transmission fidèle et une compréhension optimale. Cela implique l'utilisation de techniques de codage, de modulation et de filtrage pour lutter contre les effets du bruit et restaurer au mieux le signal original, augmentant ainsi la quantité d'information utile.