基于Kullback信息量的模型選擇標(biāo)準(zhǔn).pdf

1、大連理工大學(xué)碩士學(xué)位論文基于Kullback信息量的模型選擇標(biāo)準(zhǔn)姓名：苗苗申請學(xué)位級別：碩士專業(yè)：概率論與數(shù)理統(tǒng)計指導(dǎo)教師：宋立新20070619基于K u l l b a e k 信息量的模型選擇標(biāo)準(zhǔn)M o d e l s e l e c t i o nc r i t e r i ab a s e d o nK n l l b a c k i n f o r m a t i o nm e a s u r e sA b s t r a

2、c eS e l e c t i o na l lo p t i m a lm o d e lf r o mac l a s so fc a n d i d a t e s i s ac r i t i c a l i s s u ei n s t a t i s t i c a lm o d e l i n g ．D u r i n gt h ep a s t t h r e ed e c a d e s ，an u m b e ro

3、 fm o d e ls e l e c t i o n c r i t e r i ah a v eb e e np r o p o s e b a s e do n e s t i m a t i n gK u l l b a c k ’S ( I n f o r m a t i o n T h e o r y a n d S t a t i s t i c s ，D o v e r ，M i n e o l a ,N Y ，1 9

4、 8 6 ，P ．5 ) d i r e c t e d d i v e r g e n c e b e t w e e nt h e m o d e lg e n e r a t i n g t h e d a t aa n d a f i r e dc a n d i d a t em o d e l ．T h e A k a l k e ( S e c o n dI n t e r n a t i o n a l S y m p

5、o s i u mo n I n f o r m a t i o nT h e o r y ，A k a d e m i a K i a d o ，B u d a p e s t , H u n g a r y ，1 9 7 3 ，P P ．2 6 7 —2 8 1 ；I E E E T r a n s ．A n t o m a t ．C o n t r o lA C - 1 9( 1 9 7 4 ) 7 1 6 ) i n f o r

6、 m a t i o nc r i t e r i o n ，A ／C ，w a st h e f i r s t o ft h e s e ．A ／C i s j u s t i f i e d i n av e r yg e n e r a lf r a m e w o r k ，a n d a sar e s u l t , o f f e r sac r u d ee s t i m a t o ro ft h ed i r e

7、 c t e dd i v e r g e n c e ：o n ew h i c he x h i b i t s ap o t e n t i a l l y h i g h d e g r e e o fn e g a t i v e b i a s i n s m a l l - s a m p l e a p p l i c a t i o n s( B i o m 咖k a7 6 ( 1 9 8 9 ) 2 9 7 ) ．T

8、 h e “c o r r e c t e d ”A k a i k ei n f o r m a t i o nc r i t e r i o n ( B i o m e t r i k a7 6( 19 8 9 ) 2 9 7 ) ，A I C c ，a d j l a s t s f o r t h i s b i a s ，a n d c o n s e q u e n t l yo f t e no u t p e r f o

9、 r m s A ／C a s as e l e c t i o n c r i t e r i o n ．H o w e v e r , A I C ci s l e s s b r o a d l y a p p l i c a b l e t h a n A ／C s i n c e i s tj u s t i f i c a t i o nd e p e n d s u p o n t h e s t r u c t u r

10、e o f t h ec a n d i d a t em o d e l ．R e c e n t l y ，m o d e ls e l e c t i o nc r i t e r i ah a v eb e e np r o p o s e db a s e d o ne s t i m a t i n gK u l l b a c k ’S( I n f o r m a t i o nT h e o r ya n dS t a

11、 t i s t i c s ，D o v e r ，M i n e o l a , N Y ，1 9 8 6 ，P ．6 ) s y m m e t r i cd i v e r g e n c eb e t w e e n t h eg e n e r a t i n gm o d e la n da f i t t e dc a n d i d a t em o d e l ( S t a t i s t ．P r o b a b

12、 ．L e t t ．4 2 ( 1 9 9 9 )3 3 3 ；A u s t r a l ．N e wZ e a l a n dJ ．S t a t i s t ．4 6 ( 2 0 0 4 ) 2 5 7 ) ，K ／C ，K I C c a r ec r i t e r i ad e v i s e dt ot a r g e tt h e s y m m e t r i c d i v e r g e n c e ．I n s

13、 m a l l - s a m p l e a p p l i c a t i o n s ，K ／C ，K I C co f t e n o u t p e r f o r m sA ／C a n dA I C ．a(chǎn) s s e l e c t i o n c r i t e r i o n s ．( J o u r n a l o f S t a f f s t i c a l p l a n n i n g a n d I n

14、f e r e n c e ．13 4 ( 2 0 0 5 ) 3 3 2 —3 4 9 ) ．M c Q u a r r i e a n d T s a ic a l c u l a t e t h es i g n a l - t o - n o i s er a t i oo f t h e s ec r i t e r i a ．T h e yp r o p o s e t h a tt h el i n e a rp e n

15、a l t yf u n c t i o no f A ／C r e s u l t si n i tp r o n i n g t o o v e f f i t t i n g ．T h e ya l s eg e ta n e wc r i t e r i a A I C u t h r o u g hs t r o n g e rt h es i g n a l - t o - n o i s eo f A I C ．I nt

16、h i sp a p e r ，w ed e v i s e a n e wc f i t e r i a K I C u i nt h el i n e a rr e g r e s s i o nf r a m e w o r k b y s t r o n g e r t h es i g n a l - t o ·n o i s eo fK ／C i nt h es a m e m a n n e rt h a tM

17、c Q u a r r i e a n dT s a ic a l c u l a t eg e t A I C u ．W ea l s op r o p o s e t h a t K I C us e w e s a s a n a p p r o x i m a t e l y u n b i a s e d e s t i m a t o r o f K u l l b a c k ’S d i r e c t e d d i

18、v e r g e n c e f o rn o n l i n e a r r e g r e s s i o n c a n d i d a t e m o d e l s w i t h n o r m a l e r r o r s ．M o r e o v e r ，K I C u p e r f o r m sf a v o r a b l ya g a i n s t A I C u ．K e y W o r d s ：A