圍棋人機大戰(zhàn)背后與人工智能發(fā)展

1、圍棋人機大戰(zhàn)的背后與人工智能發(fā)展趨勢,劉知青 北京郵電大學教授、計算機圍棋研究所所長（注：本文由劉教授于2016年4月在圍棋TV上的發(fā)言整理而成）,報告提綱,什么是本次圍棋人機大戰(zhàn)的看點？為什么是圍棋問題？AlphaGo是如何解決圍棋問題的？如何展望圍棋人機大戰(zhàn)之后的人工智能？,樊麾，與圍棋人機大戰(zhàn)的賽前預(yù)測,AlphaGo開發(fā)過程：1）項目正式開始于2014年2）2015年7月已完全超越現(xiàn)有AI3）2015年10

2、月已5:0戰(zhàn)勝了樊麾4）2016年1月完全超越了普通職業(yè)棋手樊麾的提示：說我棋臭的，我承認，確實棋臭,李世石，與圍棋人機大戰(zhàn)的結(jié)果,李世石完敗李世石贏的一盤也是因為AlphaGo在大幅領(lǐng)先局勢下的失誤AlphaGo在展現(xiàn)強大力量的同時，也暴露潛在的問題和弱點,柯杰，與圍棋人機大戰(zhàn)的看點,不是普通意義上的挑戰(zhàn)比賽，更是公司內(nèi)部的系統(tǒng)測試AlphaGo展現(xiàn)了獨特的圍棋風格優(yōu)秀的大局觀和強大的總體把握能力簡明直接的局部定

3、型，，雖非最優(yōu)，但瑕不掩瑜算法仍然存在弱點，還有很大改進空間柯杰：“就算AlphaGo戰(zhàn)勝了李世石，但它贏不了我”,為什么是圍棋？,最復雜（注：狀態(tài)復雜度與博弈復雜度）的智力游戲：看似簡單，實為復雜，具有10的170次方狀態(tài)復雜空間。涉及邏輯推理，形象思維，優(yōu)化選擇等多種人類智能（注：國際象棋只有邏輯推理，沒有形象思維）公認是人工智能領(lǐng)域長期以來的重大挑戰(zhàn)國際學術(shù)界曾經(jīng)普遍認為解決圍棋問題需要15-20年時間,Alph

4、aGo的核心方法,由于天文數(shù)字的狀態(tài)空間和搜索空間，蠻力計算無法解決圍棋問題（注：解決國際象棋的IBM深藍是用蠻力方法，就是靠計算，這種方法在圍棋這么大的計算與搜索空間是無法進行的）圍棋職業(yè)棋手的解決方法：棋感直覺+搜索驗證AlphaGo的核心方法完全類似于完全職業(yè)棋手的解決方法AlphaGo的優(yōu)勢：完全以勝率為目標，不受任何其它因素影響,深度神經(jīng)網(wǎng)絡(luò)：棋感直覺,棋感直覺，是高水平圍棋對弈的要素反應(yīng)了職業(yè)棋手長期學習、訓練、對弈

5、的經(jīng)驗積累AlphaGo通過深度神經(jīng)網(wǎng)絡(luò)機器學習，獲得圍棋棋感直覺，并且訓練強度遠超出任何棋手的個人能力（注：有的圍棋對弈軟件如：Zen，沒有棋感直覺，每走一步軟件是硬寫上去的，這個是規(guī)則，不是棋感直覺。規(guī)則的覆蓋面非常小，圍棋的變化太多）（訓練兩個網(wǎng)絡(luò)，policy network走子網(wǎng)絡(luò)和value network估值網(wǎng)絡(luò)）,策略網(wǎng)絡(luò)：落子棋感,深度神經(jīng)網(wǎng)絡(luò)的有監(jiān)督學習學習職業(yè)棋手和業(yè)余高段棋 手的棋譜（數(shù)十萬份棋譜，

6、 上億數(shù)量級的落子方式）獲得在圍棋盤面下的落子棋感,價值網(wǎng)絡(luò)：勝負棋感,深度神經(jīng)網(wǎng)絡(luò)的增強型學習（DeepMind獨創(chuàng)）通過自我博弈，學習不同盤面下的勝負情況（三千萬盤自我對局）獲取在圍棋盤面的勝負棋感（注：對每一個落子點給一個當時的快速的勝負感（估算），這個勝負估算并不是根據(jù)分析計算出來的，而是直覺）（通過AlphaGo幾千萬盤的訓練學習得來的）,蒙特卡洛樹搜索：搜索驗證,沒有棋感直覺不行，完全依賴棋感直覺也不行

7、直覺需要通過嚴格的數(shù)學模型和計算方法，對棋感直覺進行驗證AlphaGo使用蒙特卡洛樹搜索，對落子棋感和勝負感進行計算驗證。,蒙特卡洛樹搜索,蒙特卡洛模擬采樣：勝負棋感驗證,基于數(shù)學期望的勝負評估模型（勝率）基于蒙特卡洛模擬進行勝負結(jié)果采樣（模擬采樣比直覺更可靠）根據(jù)模擬采樣結(jié)果驗證盤面勝負的數(shù)學期望可靠程度與采樣規(guī)模相關(guān)（采樣越大，離真理會更近些）,勝負棋感驗證（采用b圖）,最大信心上限搜索：落子棋感驗證,最大信心上限

8、搜索是在線機器學習的重要方法（不同的選點通過樹搜索）平衡機器學習過程中探索與利用之間的矛盾搜索最優(yōu)的落子點，同時也是搜索次數(shù)最多的、信心最大的、勝率最高的落子點（在最優(yōu)的落子點做大量的搜索）,落子棋感驗證（采用e圖）,搜索結(jié)果：雙方最佳的落子序列,落子過程的最終搜索結(jié)果是雙方最佳的落子序列，反映了對棋局進程的展望（不太靠譜的可能搜索5-6步就停下來，最有可能的就搜索深一些，學習上限自動做的）在一般情況下，28步落子序列展望遠遠

9、超出圍棋職業(yè)選手的搜索深度在特殊情況下（一本道），28步的搜索深度仍顯不足（例如打劫，由于步數(shù)較多搜索深度可能不足，如果機器被引入一個比較復雜的局面，這個局面有可能會超出它的思維搜索深度）注：AlphaGo的底層技術(shù)還是蒙特卡洛樹搜索，它用了神經(jīng)網(wǎng)絡(luò)的棋感直覺進行有效剪枝（樹可以分枝不要那么寬，到了某個程度就不需要往下搜索沒有意義，是過去技術(shù)的升級）,搜索結(jié)果：雙方最佳的落子序列-28步搜索,圍棋人機大戰(zhàn)之后的人工智能展望,人工智能

10、的技術(shù)基礎(chǔ)人工智能的核心方法：直覺獲取、搜索驗證、優(yōu)化選擇人工智能的應(yīng)用展望,人工智能的三大技術(shù)基礎(chǔ),1、大數(shù)據(jù)2、廉價的并行計算3、深度神經(jīng)網(wǎng)絡(luò)（其直覺的東西就是通過深度神經(jīng)網(wǎng)絡(luò)利用大數(shù)據(jù)進行訓練）,人工智能的核心方法：直覺獲取,直覺：不經(jīng)過思考過程，很快就能出現(xiàn)的直接想法、感覺、信念或者偏好（這個非常重要，其強大的力量。如：落子的直覺，勝負的直覺、棋盤的直覺、棋形的直覺）英文Intuition來自于拉丁語：int

11、ueri，意思是“往里看”、“默觀”通過深度神經(jīng)網(wǎng)絡(luò)和大數(shù)據(jù)的訓練而獲得,人工智能的核心方法：搜索驗證,驗證：為直覺建立真實性、準確性和可靠性的檢驗過程驗證是核實直覺不存在偏差的一個充分條件由于廉價并行計算和大數(shù)據(jù)的支持，直覺可以通過搜索計算來驗證,人工智能的核心方法：優(yōu)化選擇,人類生活面臨一系列的抉擇問題（注：有了直覺和驗證就可以找一個最好的）A.手里的股票是持有還是拋售B.駕駛員到交通燈前是左拐還是右拐直覺獲取和

12、搜索驗證的結(jié)合使用，可以提供優(yōu)化選擇,人工智能的應(yīng)用展望：優(yōu)化決策,國防：戰(zhàn)略決策與戰(zhàn)術(shù)決策醫(yī)療：診斷決策與治療決策金融：投資決策與市場決策交通：資源決策與物流決策,劉知青教授的總結(jié)1,過去10年計算機圍棋一直使用新的技術(shù)：蒙特卡洛樹搜索蒙特卡洛樹搜索底層有一個堅實的數(shù)學基礎(chǔ)：上層使用并行計算，通過計算進行模擬、采樣一系列的數(shù)學方法使計算機圍棋有明顯提高蒙特卡洛樹搜索也是AlphaGo的一個基本技術(shù)點,劉知青教授的總

13、結(jié)2,在此之上又使用了新的技術(shù)，就是基于機器學習的神經(jīng)網(wǎng)絡(luò)這個神經(jīng)網(wǎng)絡(luò)有很大的作用：1、通過學習高水平棋手的棋譜，獲得如何在盤面落子的棋感2、提高機器的增強型學習，獲得形勢判斷的棋感這兩個棋感提供給蒙特卡洛樹搜索技術(shù)進行驗證，從而達到目前的技術(shù)突破,劉知青教授的總結(jié)3,計算機在這次人機大戰(zhàn)中使用了與職業(yè)棋手相似的方式，通過棋感（落子棋感、形勢判斷棋感）再加上邏輯判斷進行落子。計算機沒有其它因素的干擾，不受情緒影響。這是它在這