| dbo:abstract
|
- Die Maximum-Entropie-Methode oder MEM ist eine Methode der Bayesschen Statistik, die erlaubt, trotz mangelhafter problemspezifischer Information eine A-priori-Wahrscheinlichkeit zuzuweisen. Sie ersetzt frühere Ansätze wie etwa das von Laplace formulierte „Prinzip vom unzureichenden Grunde“. (de)
- Le principe d'entropie maximale consiste, lorsqu'on veut représenter une connaissance imparfaite d'un phénomène par une loi de probabilité, à :
* identifier les contraintes auxquelles cette distribution doit répondre (moyenne, etc) ;
* choisir de toutes les distributions répondant à ces contraintes celle ayant la plus grande entropie au sens de Shannon. Ce choix n'a rien d'arbitraire : de toutes ces distributions, c'est - par définition de l'entropie - celle d'entropie maximale qui contient le moins d'information, et elle est donc pour cette raison la moins arbitraire de toutes celles que l'on pourrait utiliser. La distribution de probabilité obtenue sert ensuite de probabilité a priori dans un processus classique d'inférence bayésienne. Le principe d'entropie maximale considère un principe d'équidistribution (principe d'indifférence de Laplace) et d'indépendance entre événements élémentaires ayant donné lieu à la distribution de probabilité. Il s'agit donc d'un a priori extrêmement « neutre », si toutefois l'espace d'hypothèses est bien choisi.Comme la mesure d'entropie de Shannon considère un ensemble d'états équiprobables, il peut être utile d'adapter l'espace d'hypothèses pour rendre les différents états équiprobables ou alors utiliser l'entropie relative pour normaliser l'expression par rapport à leur probabilités respectives a priori.
* (en) Edwin Thompson Jaynes, Information Theory and Statistical Mechanics, 1963 (lire en ligne) (fr)
- En mecánica estadística, el principio de máxima entropía establece que la distribución de probabilidad menos sesgada que se le puede atribuir a un sistema estadístico es aquella en la que dadas unas ciertas condiciones fijas maximiza la entropía, , esto es, aquella en la que la desinformación es máxima. Esto viene a decir que en una situación de desconocimiento de información la distribución estadística menos sesgada será aquella en que menos información extrínseca al problema contenga.El anterior principio implica que dada la entropía como una función de la distribución de probabilidad y las j condiciones intrínsecas al problema, la distribución menos sesgada para los N microestados cumplirá que: con las condiciones Empleando los multiplicadores de Lagrange la función a maximizar es: (es)
- The principle of maximum entropy states that the probability distribution which best represents the current state of knowledge about a system is the one with largest entropy, in the context of precisely stated prior data (such as a proposition that expresses ). Another way of stating this: Take precisely stated prior data or testable information about a probability distribution function. Consider the set of all trial probability distributions that would encode the prior data. According to this principle, the distribution with maximal information entropy is the best choice. (en)
- 최대 엔트로피 원리는 시스템에 대한 현재 지식 상태를 가장 잘 나타내는 확률 분포가 가장 큰 엔트로피를 갖는 분포라는 것이다. 이것을 표현하는 또 다른 방법: 확률 분포 함수에 대해 정확하게 언급된 이전 데이터 또는 테스트 가능한 정보를 가져온다. 이전 데이터를 인코딩할 모든 시행 확률 분포 세트를 고려하라는 것이다. 이 원칙에 따르면 정보 엔트로피가 최대인 분포가 최선의 선택이다. 최대 엔트로피 분포는 데이터의 실제 분포에 대해 가장 적은 가정을 하는 분포이므로 최대 엔트로피의 원리는 오컴의 면도날의 적용이라고 볼 수 있다. (ko)
- 最大エントロピー原理（さいだいエントロピーげんり、英: principle of maximum entropy）は、認識確率分布を一意に定めるために利用可能な情報を分析する手法である。この原理を最初に提唱したのは Edwin Thompson Jaynes である。彼は1957年に統計力学のギブズ分布を持ち込んだ熱力学（）を提唱した際に、この原理も提唱したものである。彼は、熱力学やエントロピーは、情報理論や推定の汎用ツールの応用例と見るべきだと示唆した。他のベイズ的手法と同様、最大エントロピー原理でも事前確率を明示的に利用する。これは古典的統計学における推定手法の代替である。 (ja)
- O desenvolvimento do método da máxima entropia (ME) ocorreu através de duas linhas de pesquisa: inferência estatística (Bernoulli, Bayes, Laplace, Jeffreys, Cox) e modelagem estatística de problemas em mecânica, física e de informação (Maxwell, Boltzmann, Gibbs, Shannon). O objetivo da primeira linha de investigação é a de formular uma teoria/metodologia que permite a compreensão das características gerais (distribuição) de um sistema de informação parcial e incompleto. Na segunda linha de investigação, este mesmo objectivo é expresso na forma de determinar como atribuir valores numéricos (iniciais) das probabilidades quando apenas algumas quantidades globais limitadas (teoricamente) do sistema investigados são conhecidas. O reconhecimento dos objetivos básicos comuns destas duas linhas de pesquisa auxiliou Jaynes (1957) no desenvolvimento do seu trabalho clássico, de formalização da máxima entropia. Isto é, a formalização da ME foi baseada na filosofia da primeira linha de investigação e na matemática da segunda linha de investigação. Jaynes mostrou que maximizar estatisticamente a entropia (mecânica) com a finalidade de revelar o modo como as moléculas de gás estavam distribuídas seria equivalente à simples maximização da entropia (de informação) de Shannon com informação mecânica estatisticamente. O método foi correto para atribuir probabilidades independentemente das especificidades da informação. Esta ideia conduziu a máxima entropia ou à utilização do método da máxima entropia para atribuir probabilidades. Este método tem evoluído para um método mais geral, o método de (MEr), que tem a vantagem de não só atribuir probabilidades, mas atualizá-las quando nova informação é dada sob a forma de restrições sobre os probabilidades. A ME pode ser aplicada para análise de uma grande variedade de problemas na maioria das disciplinas da ciência. por exemplo, trabalhos sobre a reconstrução de imagem e análise espectral em medicina, física, química, biologia, topografia, engenharia, comunicação e informação, investigação de operações, ciência política e economia (tomografia, imagens de satélite, motores de busca, , métodos tipo GMM, modelagem de dados em econometria); a investigação em estimação e inferência estatística (métodos bayesianos e não bayesianos); e inovações em curso no processamento de informação e de TI. (pt)
- Принцип максимума энтропии утверждает, что наиболее характерными распределениями вероятностей состояний неопределенной среды являются такие распределения, которые максимизируют выбранную меру неопределенности при заданной информации о «поведении» среды. Впервые подобный подход использовал Д.Гиббс для нахождения экстремальных функций распределений физических ансамблей частиц. Впоследствии Э.Джейнсом был предложен формализм восстановления неизвестных законов распределения случайных величин при наличии ограничений из условий максимума энтропии Шеннона. (ru)
|
| rdfs:comment
|
- Die Maximum-Entropie-Methode oder MEM ist eine Methode der Bayesschen Statistik, die erlaubt, trotz mangelhafter problemspezifischer Information eine A-priori-Wahrscheinlichkeit zuzuweisen. Sie ersetzt frühere Ansätze wie etwa das von Laplace formulierte „Prinzip vom unzureichenden Grunde“. (de)
- The principle of maximum entropy states that the probability distribution which best represents the current state of knowledge about a system is the one with largest entropy, in the context of precisely stated prior data (such as a proposition that expresses ). Another way of stating this: Take precisely stated prior data or testable information about a probability distribution function. Consider the set of all trial probability distributions that would encode the prior data. According to this principle, the distribution with maximal information entropy is the best choice. (en)
- 最大エントロピー原理（さいだいエントロピーげんり、英: principle of maximum entropy）は、認識確率分布を一意に定めるために利用可能な情報を分析する手法である。この原理を最初に提唱したのは Edwin Thompson Jaynes である。彼は1957年に統計力学のギブズ分布を持ち込んだ熱力学（）を提唱した際に、この原理も提唱したものである。彼は、熱力学やエントロピーは、情報理論や推定の汎用ツールの応用例と見るべきだと示唆した。他のベイズ的手法と同様、最大エントロピー原理でも事前確率を明示的に利用する。これは古典的統計学における推定手法の代替である。 (ja)
- Принцип максимума энтропии утверждает, что наиболее характерными распределениями вероятностей состояний неопределенной среды являются такие распределения, которые максимизируют выбранную меру неопределенности при заданной информации о «поведении» среды. Впервые подобный подход использовал Д.Гиббс для нахождения экстремальных функций распределений физических ансамблей частиц. Впоследствии Э.Джейнсом был предложен формализм восстановления неизвестных законов распределения случайных величин при наличии ограничений из условий максимума энтропии Шеннона. (ru)
- En mecánica estadística, el principio de máxima entropía establece que la distribución de probabilidad menos sesgada que se le puede atribuir a un sistema estadístico es aquella en la que dadas unas ciertas condiciones fijas maximiza la entropía, , esto es, aquella en la que la desinformación es máxima. Esto viene a decir que en una situación de desconocimiento de información la distribución estadística menos sesgada será aquella en que menos información extrínseca al problema contenga.El anterior principio implica que dada la entropía como una función de la distribución de probabilidad y las j condiciones intrínsecas al problema, la distribución menos sesgada para los N microestados cumplirá que: (es)
- Le principe d'entropie maximale consiste, lorsqu'on veut représenter une connaissance imparfaite d'un phénomène par une loi de probabilité, à :
* identifier les contraintes auxquelles cette distribution doit répondre (moyenne, etc) ;
* choisir de toutes les distributions répondant à ces contraintes celle ayant la plus grande entropie au sens de Shannon. La distribution de probabilité obtenue sert ensuite de probabilité a priori dans un processus classique d'inférence bayésienne.
* (en) Edwin Thompson Jaynes, Information Theory and Statistical Mechanics, 1963 (lire en ligne) (fr)
- O desenvolvimento do método da máxima entropia (ME) ocorreu através de duas linhas de pesquisa: inferência estatística (Bernoulli, Bayes, Laplace, Jeffreys, Cox) e modelagem estatística de problemas em mecânica, física e de informação (Maxwell, Boltzmann, Gibbs, Shannon). (pt)
|
