Ghent University Academic Bibliography

Advanced

Learning from samples using coherent lower previsions

Erik Quaeghebeur UGent (2009)
abstract
Het hoofdonderwerp van dit werk is het afleiden, voorstellen en bestuderen van voorspellende en parametrische gevolgtrekkingsmodellen die gebaseerd zijn op de theorie van coherente onderprevisies. Een belangrijk nevenonderwerp is het vinden en bespreken van extreme onderwaarschijnlijkheden. In het hoofdstuk ‘Modeling uncertainty’ geef ik een inleidend overzicht van de theorie van coherente onderprevisies ─ ook wel theorie van imprecieze waarschijnlijkheden genoemd ─ en de ideeën waarop ze gestoeld is. Deze theorie stelt ons in staat onzekerheid expressiever ─ en voorzichtiger ─ te beschrijven. Dit overzicht is origineel in de zin dat ze meer dan andere inleidingen vertrekt van de intuitieve theorie van coherente verzamelingen van begeerlijke gokken. Ik toon in het hoofdstuk ‘Extreme lower probabilities’ hoe we de meest extreme vormen van onzekerheid kunnen vinden die gemodelleerd kunnen worden met onderwaarschijnlijkheden. Elke andere onzekerheidstoestand beschrijfbaar met onderwaarschijnlijkheden kan geformuleerd worden in termen van deze extreme modellen. Het belang van de door mij bekomen en uitgebreid besproken resultaten in dit domein is voorlopig voornamelijk theoretisch. Het hoofdstuk ‘Inference models’ behandelt leren uit monsters komende uit een eindige, categorische verzameling. De belangrijkste basisveronderstelling die ik maak is dat het bemonsteringsproces omwisselbaar is, waarvoor ik een nieuwe definitie geef in termen van begeerlijke gokken. Mijn onderzoek naar de gevolgen van deze veronderstelling leidt ons naar enkele belangrijke representatiestellingen: onzekerheid over (on)eindige rijen monsters kan gemodelleerd worden in termen van categorie-aantallen (-frequenties). Ik bouw hier op voort om voor twee populaire gevolgtrekkingsmodellen voor categorische data ─ het voorspellende imprecies Dirichlet-multinomiaalmodel en het parametrische imprecies Dirichletmodel ─ een verhelderende afleiding te geven, louter vertrekkende van enkele grondbeginselen; deze modellen pas ik toe op speltheorie en het leren van Markov-ketens. In het laatste hoofdstuk, ‘Inference models for exponential families’, verbreed ik de blik tot niet-categorische exponentiële-familie-bemonsteringsmodellen; voorbeelden zijn normale bemonstering en Poisson-bemonstering. Eerst onderwerp ik de exponentiële families en de aanverwante toegevoegde parametrische en voorspellende previsies aan een grondig onderzoek. Deze aanverwante previsies worden gebruikt in de klassieke Bayesiaanse gevolgtrekkingsmodellen gebaseerd op toegevoegd updaten. Ze dienen als grondslag voor de nieuwe, door mij voorgestelde imprecieze-waarschijnlijkheidsgevolgtrekkingsmodellen. In vergelijking met de klassieke Bayesiaanse aanpak, laat de mijne toe om voorzichtiger te zijn bij de beschrijving van onze kennis over het bemonsteringsmodel; deze voorzichtigheid wordt weerspiegeld door het op deze modellen gebaseerd gedrag (getrokken besluiten, gemaakte voorspellingen, genomen beslissingen). Ik toon ten slotte hoe de voorgestelde gevolgtrekkingsmodellen gebruikt kunnen worden voor classificatie door de naïeve credale classificator.<br /><br />
This thesis's main subject is deriving, proposing, and studying predictive and parametric inference models that are based on the theory of coherent lower previsions. One important side subject also appears: obtaining and discussing extreme lower probabilities. In the chapter ‘Modeling uncertainty’, I give an introductory overview of the theory of coherent lower previsions ─ also called the theory of imprecise probabilities ─ and its underlying ideas. This theory allows us to give a more expressive ─ and a more cautious ─ description of uncertainty. This overview is original in the sense that ─ more than other introductions ─ it is based on the intuitive theory of coherent sets of desirable gambles. I show in the chapter ‘Extreme lower probabilities’ how to obtain the most extreme forms of uncertainty that can be modeled using lower probabilities. Every other state of uncertainty describable by lower probabilities can be formulated in terms of these extreme ones. The importance of the results in this area obtained and extensively discussed by me is currently mostly theoretical. The chapter ‘Inference models’ treats learning from samples from a finite, categorical space. My most basic assumption about the sampling process is that it is exchangeable, for which I give a novel definition in terms of desirable gambles. My investigation of the consequences of this assumption leads us to some important representation theorems: uncertainty about (in)finite sample sequences can be modeled entirely in terms of category counts (frequencies). I build on this to give an elucidating derivation from first principles for two popular inference models for categorical data ─ the predictive imprecise Dirichlet-multinomial model and the parametric imprecise Dirichlet model; I apply these models to game theory and learning Markov chains. In the last chapter, ‘Inference models for exponential families’, I enlarge the scope to exponential family sampling models; examples are normal sampling and Poisson sampling. I first thoroughly investigate exponential families and the related conjugate parametric and predictive previsions used in classical Bayesian inference models based on conjugate updating. These previsions serve as a basis for the new imprecise-probabilistic inference models I propose. Compared to the classical Bayesian approach, mine allows to be much more cautious when trying to express what we know about the sampling model; this caution is reflected in behavior (conclusions drawn, predictions made, decisions made) based on these models. Lastly, I show how the proposed inference models can be used for classification with the naive credal classifier.
Please use this url to cite or link to this publication:
author
promoter
UGent and UGent
organization
alternative title
Leren uit monsters met coherente onderprevisies
year
type
dissertation (monograph)
subject
keyword
imprecise Dirichlet model, exponential family, inference, desirable gambles, extreme points, coherence, exchangeability, imprecise probability, sample, updating, lower prevision, representation insensitivity, learning
pages
249 pages
publisher
Ghent University. Faculty of Engineering
place of publication
Ghent, Belgium
defense location
Gent : Faculteit Ingenieurswetenschappen (Jozef Plateauzaal)
defense date
2009-01-23 16:00
ISBN
9789085782490
OTHER
D/2009/10.500/7
language
English
UGent publication?
yes
classification
D1
additional info
The electronic version of this thesis is licensed under the Creative Commons Attribution-Noncommercial-Share Alike 2.0 Belgium License. To view a copy of this license, visit http://creativecommons.org/licenses/by-nc-sa/2.0/be/ . Contact the author if you wish to obtain a different type of license.
copyright statement
I have retained and own the full copyright for this publication
id
495650
handle
http://hdl.handle.net/1854/LU-495650
alternative location
http://lib.ugent.be/fulltxt/RUG01/001/310/010/RUG01-001310010_2010_0001_AC.pdf
date created
2009-02-16 13:08:56
date last changed
2010-09-28 16:34:32
@phdthesis{495650,
  abstract     = {Het hoofdonderwerp van dit werk is het afleiden, voorstellen en bestuderen van voorspellende en parametrische gevolgtrekkingsmodellen die gebaseerd zijn op de theorie van coherente onderprevisies. Een belangrijk nevenonderwerp is het vinden en bespreken van extreme onderwaarschijnlijkheden.
In het hoofdstuk {\textquoteleft}Modeling uncertainty{\textquoteright} geef ik een inleidend overzicht van de theorie van coherente onderprevisies \unmatched{2500} ook wel theorie van imprecieze waarschijnlijkheden genoemd \unmatched{2500} en de idee{\"e}n waarop ze gestoeld is. Deze theorie stelt ons in staat onzekerheid expressiever \unmatched{2500} en voorzichtiger \unmatched{2500} te beschrijven. Dit overzicht is origineel in de zin dat ze meer dan andere inleidingen vertrekt van de intuitieve theorie van coherente verzamelingen van begeerlijke gokken.
Ik toon in het hoofdstuk {\textquoteleft}Extreme lower probabilities{\textquoteright} hoe we de meest extreme vormen van onzekerheid kunnen vinden die gemodelleerd kunnen worden met onderwaarschijnlijkheden. Elke andere onzekerheidstoestand beschrijfbaar met onderwaarschijnlijkheden kan geformuleerd worden in termen van deze extreme modellen. Het belang van de door mij bekomen en uitgebreid besproken resultaten in dit domein is voorlopig voornamelijk theoretisch.
Het hoofdstuk {\textquoteleft}Inference models{\textquoteright} behandelt leren uit monsters komende uit een eindige, categorische verzameling. De belangrijkste basisveronderstelling die ik maak is dat het bemonsteringsproces omwisselbaar is, waarvoor ik een nieuwe definitie geef in termen van begeerlijke gokken. Mijn onderzoek naar de gevolgen van deze veronderstelling leidt ons naar enkele belangrijke representatiestellingen: onzekerheid over (on)eindige rijen monsters kan gemodelleerd worden in termen van categorie-aantallen (-frequenties). Ik bouw hier op voort om voor twee populaire gevolgtrekkingsmodellen voor categorische data \unmatched{2500} het voorspellende imprecies Dirichlet-multinomiaalmodel en het parametrische imprecies Dirichletmodel \unmatched{2500} een verhelderende afleiding te geven, louter vertrekkende van enkele grondbeginselen; deze modellen pas ik toe op speltheorie en het leren van Markov-ketens.
In het laatste hoofdstuk, {\textquoteleft}Inference models for exponential families{\textquoteright}, verbreed ik de blik tot niet-categorische exponenti{\"e}le-familie-bemonsteringsmodellen; voorbeelden zijn normale bemonstering en Poisson-bemonstering. Eerst onderwerp ik de exponenti{\"e}le families en de aanverwante toegevoegde parametrische en voorspellende previsies aan een grondig onderzoek. Deze aanverwante previsies worden gebruikt in de klassieke Bayesiaanse gevolgtrekkingsmodellen gebaseerd op toegevoegd updaten. Ze dienen als grondslag voor de nieuwe, door mij voorgestelde imprecieze-waarschijnlijkheidsgevolgtrekkingsmodellen. In vergelijking met de klassieke Bayesiaanse aanpak, laat de mijne toe om voorzichtiger te zijn bij de beschrijving van onze kennis over het bemonsteringsmodel; deze voorzichtigheid wordt weerspiegeld door het op deze modellen gebaseerd gedrag (getrokken besluiten, gemaakte voorspellingen, genomen beslissingen). Ik toon ten slotte hoe de voorgestelde gevolgtrekkingsmodellen gebruikt kunnen worden voor classificatie door de na{\"i}eve credale classificator.{\textlangle}br /{\textrangle}{\textlangle}br /{\textrangle}},
  author       = {Quaeghebeur, Erik},
  isbn         = {9789085782490},
  keyword      = {imprecise Dirichlet model,exponential family,inference,desirable gambles,extreme points,coherence,exchangeability,imprecise probability,sample,updating,lower prevision,representation insensitivity,learning},
  language     = {eng},
  pages        = {249},
  publisher    = {Ghent University. Faculty of Engineering},
  school       = {Ghent University},
  title        = {Learning from samples using coherent lower previsions},
  url          = {http://lib.ugent.be/fulltxt/RUG01/001/310/010/RUG01-001310010\_2010\_0001\_AC.pdf},
  year         = {2009},
}

Chicago
Quaeghebeur, Erik. 2009. “Learning from Samples Using Coherent Lower Previsions”. Ghent, Belgium: Ghent University. Faculty of Engineering.
APA
Quaeghebeur, E. (2009). Learning from samples using coherent lower previsions. Ghent University. Faculty of Engineering, Ghent, Belgium.
Vancouver
1.
Quaeghebeur E. Learning from samples using coherent lower previsions. [Ghent, Belgium]: Ghent University. Faculty of Engineering; 2009.
MLA
Quaeghebeur, Erik. “Learning from Samples Using Coherent Lower Previsions.” 2009 : n. pag. Print.