基于Q學(xué)習(xí)的生物序列比對(duì)方法.pdf

1、序列比對(duì)是生物信息學(xué)中最常見的問題之一,也是一種重要的生物信息處理技術(shù).它通過對(duì)生物序列數(shù)據(jù)進(jìn)相似性比較,來發(fā)現(xiàn)生物序列中的功能、結(jié)構(gòu)和進(jìn)化等信息,是基因識(shí)別、分子進(jìn)化、生命起源等生物信息學(xué)研究的基礎(chǔ). 強(qiáng)化學(xué)習(xí)是一種無監(jiān)督的機(jī)器學(xué)習(xí)技術(shù),能夠利用不確定的環(huán)境獎(jiǎng)賞發(fā)現(xiàn)最優(yōu)的行為序列,實(shí)現(xiàn)動(dòng)態(tài)環(huán)境下的在線學(xué)習(xí),因此被廣泛用于Agent的智能決策.目前主流的強(qiáng)化學(xué)習(xí)算法是Q學(xué)習(xí)算法,它是在強(qiáng)化學(xué)習(xí)基礎(chǔ)之上發(fā)展起來的一種新的機(jī)器學(xué)習(xí)方法,因其

2、自身特點(diǎn)已經(jīng)成為人工智能領(lǐng)域的研究熱點(diǎn).但Q學(xué)習(xí)本身存在一些問題.首先,watkins提出的Q學(xué)習(xí)原型,采用貪婪策略選擇當(dāng)前動(dòng)作,這種策略是一種一步策略,使得當(dāng)前動(dòng)作對(duì)于將來影響估計(jì)不足;其次,當(dāng)狀態(tài)空間很大時(shí),Q學(xué)習(xí)算法的存儲(chǔ)空間比較大而且學(xué)習(xí)速度較慢.本文針對(duì)生物序列比對(duì)中的具體問題,對(duì)Q學(xué)習(xí)算法進(jìn)行了一些擴(kuò)充和改進(jìn),提出一種基于Q學(xué)習(xí)的生物序列比對(duì)方法. 本文的主要工作為:1.提出一種基于Q學(xué)習(xí)的生物序列比對(duì)方法用Q學(xué)習(xí)的

3、方法解決序列排列的問題的思想:把尋找兩條序列最佳排列的過程視為一個(gè)Agent自主學(xué)習(xí),尋找最有策略的過程.在該過程中把待比對(duì)序列和為了獲得最佳排列而插入序列的空格視為一組狀態(tài),把直達(dá)下一個(gè)核苷酸(氨基酸)還是插入空格看作是將要采取的行動(dòng),采用空位罰分或者打分矩陣計(jì)作為評(píng)價(jià)函數(shù),計(jì)算Agent每一次采取不同行動(dòng)的立即受益,計(jì)算每種策略的累積預(yù)期收益,選擇累積預(yù)期收益最大的策略指導(dǎo)下一步的行動(dòng),將獲得最大收益的序列作為最終的最佳序列排列.在

4、計(jì)算累積預(yù)期收益的過程中引入多步Q學(xué)習(xí)機(jī)制,選擇當(dāng)前狀態(tài)直至將來k步的最優(yōu)策略指導(dǎo)下一步的行動(dòng).這樣既避免了Watkins Q學(xué)習(xí)采用貪婪策略選擇當(dāng)前最優(yōu)策略的一步策略短視問題,又避免了Q(λ)學(xué)習(xí)的狀態(tài)行動(dòng)對(duì)數(shù)量過于龐大,引起的收斂速度慢的問題.給出了時(shí)間復(fù)雜度和空間復(fù)雜度的公式證明,通過實(shí)驗(yàn)證明該方法有效地降低了時(shí)間復(fù)雜度和空間復(fù)雜度(O(kn)).利用vc++6.0在windovs XP平臺(tái)上開發(fā)完成SAQL模型.取得了令人滿意的