Em 1948, um artigo intitulado “A Mathematical Theory of Communication”, do matemático Claude Shannon, revolucionou o entendimento formal dos mecanismos que regem a comunicação, criando assim uma nova área de estudos na matemática, a Information Theory (Teoria da Informação). Shannon apresentou neste artigo (que logo em seguida se transformou num livro com o mesmo título) um modelo matemático que permite quantificar e dimensionar o que é e como ocorre a comunicação. Neste contexto, informação é vista como um conjunto de mensagens que contém significado. Estas são comunicadas através de um canal que é sempre ruidoso, ou seja, que sempre insere ruído na mensagem, aumentando assim a sua entropia. A capacidade do canal em transmitir mensagens depende do seu grau de entropia. Se este for muito alto, o ruído inserido pode degradar a mensagem a ponto de torna-la indecifrável (ou seja, transformando-a também em ruído). O receptor recebe a mensagem transmitida pelo transmissor através do canal ruidoso e sua tarefa é reconstrui-la através de processos de filtragem, ou seja, a separação entre a informação da mensagem e a entropia (ruído) inserido pelo canal. O objetivo assim é minimizar o ruído acrescido pelo canal, diminuindo a probabilidade de ocorrência de erros de interpretação das mensagens, de modo a garantir a existência de uma comunicação suficiente para que se tenha ao final da comunicação um nível adequado de informação mútua entre transmissor e receptor. A mensagem é transmitida em porções atômicas, ou seja, que representam o nível mínimo de informação; aquele que não podem ser dividido.. Estes são chamados de “bits” (na eletrônica digital, um bit é representado por uma variável binária, que só pode ter um entre 2 valores possíveis: 0 ou 1). Para garantir a comunicação da mensagem, o transmissor normalmente se vale de “redundâncias” na informação, repetindo-as de modo a maximizar a possibilidade de sua decodificação. Desse modo, a transmissão da informação que compõe a comunicação nunca é perfeita e sempre ocorre dentro de uma probabilidade de comunicação abaixo da ideal (onde não haveria ruído acrescido na transmissão da informação).´
