2011-06-20 49 views
3

這是一個來自Wolfram科學會議的雄心勃勃的問題:是否有這樣的事物,如遞歸函數的網絡模擬?也許是一種迭代的「映射 - 減少」模式?如果我們在迭代中添加交互,事情變得複雜:大量交互實體的連續迭代可能會產生非常複雜的結果。能夠看到定義複雜系統的無數交互的後果是很好的。我們可以在包含嵌套傳播環的連接節點的迭代網絡中找到遞歸函數的對應物嗎?什麼是遞歸函數的網絡模擬?

分佈式計算的基本模式之一是Map-Reduce:它可以在元胞自動機(CA)和神經網絡(NN)中找到。 NN中的神經元通過它們的突觸收集信息(減少)並將其發送給其他神經元(地圖)。 CA中的單元格的行爲相似,它們收集來自鄰居的信息(減少),應用過渡規則(減少),並將結果再次提供給鄰居。因此,如果<有一個遞歸函數的網絡模擬,那麼Map-Reduce肯定是它的一個重要部分。什麼樣的迭代「映射 - 減少」模式存在?某些種類的「地圖 - 減少」模式會導致某些類型的溪流甚至渦旋或旋渦?我們能制定一個map-reduce模式的演算嗎?

回答

2

我會對神經網絡中的遞歸問題進行一次嘗試,但我真的不明白map-reduce是如何進入這個過程的。我得到那個神經網絡可以執行分佈式計算,然後將其減少到更多的本地表示,但是術語map-reduce是這種分佈式/本地管道的非常具體的品牌,主要與谷歌和Hadoop相關聯。

無論如何,你的問題的簡單答案是,沒有一個一般神經網絡中的遞歸方法;事實上,在神經網絡中實現通用角色 - 值綁定的非常相關的簡單問題目前仍然是一個懸而未決的問題。

爲什麼神經網絡(ANN)中的角色綁定和遞歸這樣的事情如此艱難的一般原則是人工神經網絡與自然之間非常相互依賴;事實上,這就是他們的大部分計算能力來源於哪裏。而函數調用和變量綁定都是非常劃定的操作;他們所包含的是一件全有或全無的事情,這種離散性在很多情況下是一種寶貴的財產。因此,在不犧牲任何計算能力的情況下實現一個內核是非常棘手的。

這裏是一小部分的試卷,試着用手拿出部分解決方案。幸運的是,很多人覺得這個問題很有趣!

視覺分割和動態綁定問題:提高人工神經網絡浮游生物分類的魯棒性(1993)

A Solution to the Binding Problem for Compositional Connectionism

A (Somewhat) New Solution to the Binding Problem

+0

有趣的答案,雖然我不確定綁定問題與問題有什麼關係。 – 0x4a6f4672

+0

我知道map-reduce是一個非常具體的術語,主要與Google和Hadoop相關。我認爲他們可能在分佈式系統中發現了一個非常基本的東西,一個[交互式計算的基本抽象](http://bit.ly/myDCUJ)。在神經網絡中,我們在很多層次上都有映射 - 縮減模式:從底部的神經元之間的信息伸展和摺疊,中間的神經組合的合併和分裂,到收集信息並將其減少到頂部的決定。有一些非常重要的東西。 – 0x4a6f4672