雷鋒網(wǎng)AI科技評論編者按：當(dāng)我們在討論溫度的時候，我們不會認為自己扔掉了大量的信息。如果我問某人外面有多熱，他們開始列舉各種空氣粒子的位置和速度來說明，那我會趕緊走開。
現(xiàn)實是，作為人類，我們對“能提供充足信息”和“有用”之間的區(qū)別有著與生俱來的理解能力。我們會告訴別人外面很熱，但不會說它的溫度是38.94攝氏度，這樣既不麻煩又能說明問題。這種刪減和總結(jié)信息的行為是預(yù)測的本質(zhì)，在本文中，我將解釋如何定義、度量(近似)和利用這一過程來改進預(yù)測模型和人工智能(以及在預(yù)測天氣這樣的問題中給出正確的答案)。
圖1
1.玻爾茲曼對熵的理解
沒有什么比一個好的理論更實際的了。
- 路德維?！げ柶澛?/span>
如果你熟悉熵的概念，你可能已經(jīng)了解了其中一兩個系統(tǒng)的定義(例如熱力學(xué)熵，信息熵，等等)。不然的話，別人會告訴你它其實是一種“隨機性”的衡量標準(定義隨機性是另一個主題)。（雷鋒網(wǎng)）
我認為熵的定義有很多種，所有這些定義描述的都很詳細，在不同的情境中都多多少少有用(盡管我通常反對將其稱為是一種“隨機性”的衡量標準)。我最喜歡的定義之一，最早是在1875年左右由天才路德維?！げ柶澛?Ludwig Boltzmann)提出的，現(xiàn)在通常被稱為玻爾茲曼熵或是玻爾茲曼熵公式。
玻爾茲曼認為，熵與微觀狀態(tài)和宏觀狀態(tài)之間的關(guān)系直接相關(guān)。對于系統(tǒng)給定的任何宏觀上的描述，如果能與更多的微觀狀態(tài)下的描述相結(jié)合，熵就會更高。這個理論最初提出的時候是用來描述容器中的氣體例子的，在這個情境中會比較容易理解它的含義。
圖2：摘要中增加了熵，并創(chuàng)建了方向性
在左側(cè)，這個系統(tǒng)的微觀狀態(tài)被定義為：容器中所有氣體粒子的速度、質(zhì)量和位置(這是非常具體的描述)。相反，在右側(cè)，將微觀狀態(tài)概括為溫度，就產(chǎn)生了一種可能的宏觀狀態(tài)(這個描述就不那么具體了)。在宏觀狀態(tài)下有一些非常有趣的特性：它是不可逆的(你不能只根據(jù)溫度這一個條件就對所有粒子進行完全描述)；它不那么復(fù)雜(信息少所以得到的結(jié)論也少)；但它仍然是準確的(容器真的是38.94攝氏度)；最重要的是，它不太具體(不止一個微觀狀態(tài)適合它)。
圖3：給定的宏觀狀態(tài)將具有多個與其兼容的微觀狀態(tài)。
這就是玻爾茲曼熵的關(guān)鍵：每個宏觀狀態(tài)都有許多與之兼容的微觀狀態(tài)。定義溫度的方式意味著顯示在左側(cè)(上圖所示)的三個容器中的任何一個都會產(chǎn)生相同的溫度。這種微觀狀態(tài)越多，熵就越大：“這個容器的溫度為38.94°C”。
盡管溫度這個條件很普遍，但它并不是玻爾茲曼熵唯一適用的方面。任何人與人之間的對話中都包含高熵語句，人們會仔細選擇具有描述性的語句，同時也不會太過具體。例如，我可以將這篇文章的縮略圖描述為“一副內(nèi)容是蒙娜麗莎的剪貼畫，可以重復(fù)使用”(它確實是這樣的)。但是，假若你還沒有看到這個特定的圖像，那么這些微觀狀態(tài)中的任何一項都可能同樣適合該宏觀狀態(tài)：
圖4：所有這些都可以對應(yīng)“一副內(nèi)容是蒙娜麗莎的剪貼畫，可以重復(fù)使用”。
經(jīng)過這個例子的說明，很明顯可以看到，熵可以出現(xiàn)在意想不到的地方，但到目前為止，我們還沒有采取任何措施將其與AI或預(yù)測聯(lián)系起來。在此之前，我們先來聊聊地圖。
2.地圖中存在的問題
“以貓為例，貓最好的物質(zhì)模型是另一只貓，或者說最好是一只完全相同的貓?！?/strong>
- Norbert Wiener，科學(xué)哲學(xué)(1945)
我們來做一個小小的思考實驗。 想象一下，我問你去多倫多那個奇怪的新加菲貓主題披薩店的路線，但我們倆都沒有手機，我只有紙和筆。如果你知道怎么走，那你可能不會猶豫，你畫出來的地圖看起來會像是這樣：
圖5
對我們倆來說不好的一點的是，我很容易被搞糊涂。我必須繼續(xù)詢問：“北是哪邊？”
你只能郁悶的嘆口氣并繼續(xù)補充
圖6：我想這些已經(jīng)畫的已經(jīng)夠多得了
你可能已經(jīng)能看出來這是什么意思了，但我還在要求更為詳細的說明。直到最后，你的地圖看起來很可能會像這樣：
圖7：這是真正的餐廳
你為了讓我了解清楚兒增加了很多的細節(jié)，但其實其中的絕大部分都是毫無意義的，地圖的意圖是引導(dǎo)我去吃美味的千層面披薩。事實上，如果我們繼續(xù)這樣下去，我們最終會意識到，一份最準確、最具描述性、最完整的覓食地圖其實就是整個地區(qū)的一比一復(fù)制品，餐廳里面也坐滿了急急忙忙吃東西顧不上說話的人。如果你要靠地圖來導(dǎo)航，那地圖里的信息需要比真實地區(qū)的信息少一些。如果這張地圖和這個地方本身的熵值是一樣的，那么對我來說沒有任何幫助。
模型的實用價值介于完整的描述和抽象的草圖之間。如果你不相信我，只需看看多倫多市的地圖和多倫多的地鐵圖上顯示的內(nèi)容有什么不同：
圖8：來自MapTO分析的地圖http://www.mapto.ca/maps/2017/5/9/the-newest-ttc-map-is-distorted
如果把地圖上顯示的路線做一些扭曲，把一些路線多重疊交叉了那么幾次(改變了拓撲結(jié)構(gòu))，那么它就不再是一個有用的工具了。然而，以正確的方式扭曲它，忽視關(guān)于尺度和距離的信息，地圖將會變得更加有用，可以快速了解在下車前剩下多少站點。在對系統(tǒng)進行建模時，它應(yīng)該包含盡可能少的細節(jié)，以便能最大限度的達到預(yù)期目的。
[我強烈建議你在Twitter上使用@mapTOdotca，如果你想要了解地圖的話]
3.天氣的狀況
預(yù)測是困難的。尤其是關(guān)于未來的預(yù)測
-Niels Bohr
你對明天的天氣做出的最準確的預(yù)測是什么？當(dāng)那個重要的日子(明天)來臨的時候，什么樣的預(yù)測最有可能實現(xiàn)。
天氣晴朗，最高溫度27°C，最低溫度18°C，伴隨漲潮和海洋變暖
下午2時至4時將有2mm的降水。
氣溫會比昨天有所上升
以上全部
當(dāng)然，這個問題的答案取決于你對天氣的了解，以及隨著時間的推移天氣它會如何發(fā)揮作用，但如果你沒有任何預(yù)測天氣的能力，你最好的選擇是選項#3，即氣溫會比昨天有所上升。與其他預(yù)測相比，這一預(yù)測具有很高的熵。會有許多天氣的微狀態(tài)與“氣溫比昨天有所上升”這個預(yù)測相兼容。
如果你嘗試預(yù)測天氣，并不一定需要低熵預(yù)測。如果你在考慮是否應(yīng)該帶雨傘去上班，你只需要知道今天是否會下雨。如果你在耕作，你可能需要更少的熵：那里的總降雨量是多少？
在所有這些不同的天氣預(yù)測例子中，有一點是不變的，預(yù)測總是需要比用于生成預(yù)測和/或模型的高度詳細的數(shù)據(jù)具有更多的熵。
4.總結(jié)謬誤
混亂是一條階梯
- Littlefinger
每當(dāng)我開始建模的時候，我首先花一些時間嘗試把我的問題都按照詳細程度在一個梯子上從下到上列出來。我這么做的原因是為了避免陷入總結(jié)謬誤：相信你做出的有用的預(yù)測的熵和你的數(shù)據(jù)的熵在同一水平上。要避免這個謬誤只需要一條規(guī)則，它不困難，但是很有用：總是向梯子的上方做預(yù)測。始終在比用于生成預(yù)測的數(shù)據(jù)更高的熵水平上進行預(yù)測。
圖9
現(xiàn)在，在我自己的日常生活中，這通常與預(yù)測小分子藥物和蛋白質(zhì)之間的相互作用有關(guān)。如果我說來自高分辨率晶體結(jié)構(gòu)的詳細結(jié)構(gòu)數(shù)據(jù)是我在1級的輸入數(shù)據(jù)，那么我可以用它來構(gòu)建能夠預(yù)測更高層次的東西的模型。這些信息非常詳細，它描述了蛋白質(zhì)和藥物相互作用時所有原子的位置。
圖10：如此美麗的低熵蛋白質(zhì)和藥物結(jié)構(gòu)，藥物結(jié)構(gòu)用粉紅色來表示。
我預(yù)測的內(nèi)容比較少，例如：小分子藥物X與蛋白X相互作用嗎？這類似于使用關(guān)于粒子的詳細信息來了解溫度與容器處于“熱”或“不熱”之間的關(guān)系。這樣，在未來，如果我給我的模型設(shè)定一個溫度，它將預(yù)測“熱”。在這種情況下，我的模型只是預(yù)測“是的，這種藥物會以某種方式與這種蛋白質(zhì)相互作用?！比绻蚁朐O(shè)計一種更好的藥物，這個二元預(yù)測對我來說仍然是有用的，但它還不夠詳細，無法重建特定的原子用以預(yù)測交互的細節(jié)。如果我的模型那么做了，那我是不會相信的。一般來說，你只應(yīng)該爬上梯子，而不是再次退下來進行預(yù)測。這就是總結(jié)謬誤。
5.最后的思考
“所有的模型都是有錯誤的，但其中有一些是有用的”
- George Box
如果你像我一樣，會花很多時間來考慮自己的模型，或者嘗試使用和理解其他人的模型，那么我希望你發(fā)現(xiàn)的東西是有用的。最重要的是要記住，即使目前在大肆宣傳的人工智能和機器學(xué)習(xí)，人工智能仍然是有局限性的。理解和尊重這些限制條件并不會阻礙你，相反，它會讓你專注于真正重要的事情：什么對你有用？（雷鋒網(wǎng)(公眾號：雷鋒網(wǎng))）
順便，記得天氣預(yù)報要做簡單一點。
原文鏈接：https://towardsdatascience.com/when-is-ai-trustworthy-when-is-ai-useful-215aaee24a6f
拓展閱讀：The User Illusionby Tor N?rretranders（文章鏈接：https://www.penguinrandomhouse.com/books/330619/the-user-illusion-by-tor-norretranders/9780140230123）其中定義了一個叫“exformation”的概念。
