Incerteza

três tipos de incerteza: a incerteza determinística, em que não são conhecidos os estados que um sistema pode assumir; a incerteza entrópica, em que são conhecidos os estados possíveis, mas não as chances de ocorrência de cada um deles; e a incerteza probabilística, em que são conhecidos não só os estados possíveis mas também a distribuição de probabilidade para eles…
fonte: Rogério Silva de Mattos

Entropia de Shannon

Claude Elwood Shannon
Teoria da Informação
Information Entropy
Measures of Uncertainty: Shannon’s Entropy

Axiomas de Khinchin

Entropia de Rényi

Rényi entropy

Medidas de Gibbs

from wikipedia (não muito prático)
Princípio da Máxima Entropia
Paper Maximum Entropy: Clearing up Mysteries

Testes de Hipóteses

Thomas Bayes
Thomas Bayes 2
Bayes Theorem (stanford): Uma descrição muito exaustiva do teorema de Bayes juntamente com um conjunto de exemplos muito práticos para entender a formulação.