創建一個神經網絡來評估邏輯功能

Question

我一直在努力學習神經網絡，並且我在互聯網上看到的所有例子都給出了仿真邏輯門的例子，說XOR門。但我想要做的是創建一個可以訓練模擬功能的網絡，如x^2或e^x。這可能嗎？我需要做什麼網絡變化？ 這是我的一個神經網絡的代碼，由1個輸入節點，一個由3個節點組成的隱藏層和一個輸出節點組成。

#include <iostream.h> 
    #include <fstream.h> 
    #include <math.h> 
    #include <time.h> 
    const double eeta=0.9; 
    const int n=5; 
    struct Net_elem 
    { 
     double weights1[3]; 
     double weights2[3]; 
     double bias1,bias2; 
    };//structure to store network paramenters 
    Net_elem net_elem; 
    double sigma(double input) 
    { 
     return 1/(1+exp(-input)); 
     } 
    void show_net_elem() 
    { 
       cout.precision(15); 
       for(int i=0;i<3;i++) 
       { 
         cout<<"weights1["<<i<<"]="<<net_elem.weights1[i]; 
         cout<<endl; 
       } 
       for(int i=0;i<3;i++) 
       { 
         cout<<"weights2["<<i<<"]="<<net_elem.weights2[i]; 
         cout<<endl; 
       } 
       cout<<"bias1="<<net_elem.bias1<<" bias2="<<net_elem.bias2<<endl; 
       system("pause"); 
       system("cls"); 
    } 
    //function to train the network 
    void train(double input,double expected) 
    { 
    double Output,output[3],Delta,delta[3],delta_bias1,delta_bias2; 

    //Propogate forward 
    double sum=0; 
    for(int i=0;i<3;i++) 
     output[i]=sigma(input*net_elem.weights1[i]+net_elem.bias1); 
    sum=0; 
    for(int i=0;i<3;i++) 
     sum=sum+output[i]*net_elem.weights2[i]; 
    Output=sigma(sum+net_elem.bias2); 
    cout<<"Output="<<Output<<endl; 

    //Backpropogate 

    Delta=expected-Output; 
    for(int i=0;i<3;i++) 
     delta[i]=net_elem.weights2[i]*Delta; 
     delta_bias2=net_elem.bias2*Delta; 

    //Update weights 

    for(int i=0;i<3;i++) 
     net_elem.weights1[i]=net_elem.weights1[i]+eeta*delta[i]*output[i]*(1-output[i])*input; 
    for(int i=0;i<3;i++) 
     net_elem.weights2[i]=net_elem.weights2[i]+eeta*Delta*Output*(1-Output)*output[i]; 
    net_elem.bias2=net_elem.bias2+eeta*delta_bias2; 
    double sum1=0; 
    for(int i=0;i<3;i++) 
     sum1=sum1+net_elem.weights1[i]*delta[i]; 
    net_elem.bias1=net_elem.bias1+eeta*sum1; 
    show_net_elem(); 
} 
void test() 
{ 
    cout.precision(15); 
    double input,Output,output[3]; 
    cout<<"Enter Input:"; 
    cin>>input; 
    //Propogate forward 
    double sum=0; 
    for(int i=0;i<3;i++) 
     output[i]=sigma(input*net_elem.weights1[i]+net_elem.bias1); 
    for(int i=0;i<3;i++) 
     sum=sum+output[i]*net_elem.weights2[i]; 
    Output=sigma(sum+net_elem.bias2); 
    cout<<"Output="<<Output<<endl;  
} 

我試圖運行它來模擬平方根函數。但輸出只是在0和1之間交替跳轉。

主營：

int main() 
{ 
    net_elem.weights1[0]=(double)(rand()%100+0)/10; 
    net_elem.weights1[1]=(double)(rand()%100+0)/10; 
    net_elem.weights1[2]=(double)(rand()%100+0)/10; 
    net_elem.weights2[0]=(double)(rand()%100+0)/10; 
    net_elem.weights2[1]=(double)(rand()%100+0)/10; 
    net_elem.weights2[2]=(double)(rand()%100+0)/10;; 
    net_elem.bias1=(double)(rand()%100+0)/10; 
    net_elem.bias2=(double)(rand()%100+0)/10; 
    double output[n],input[n]; 
    int ch; 
    for(int i=1;i<n;i++) 
    { 
      input[i]=100; 
      output[i]=sqrt(input[i]); 
    } 
    do 
    { 
      cout<<endl<<"1. Train"<<endl; 
      cout<<"2. Test"<<endl; 
      cout<<"3. Exit"<<endl; 
      cin>>ch; 
      switch(ch) 
      { 
         case 1:for(int i=1;i<n;i++) 
         { 
          train(input[i],output[i]); 
         } 
          break; 
         case 2:test();break; 
         case 3:break; 
         default:cout<<"Enter Proper Choice"<<endl; 
      } 
    }while(ch!=3); 
} 

Answer 1

我認爲你缺少使用神經網絡的點。神經網絡不模仿已知的功能。它們將未知矢量空間中的區域分開。異或問題往往是作爲一個例子，因爲它是最小的非線性可分問題：一個簡單的感知是一個簡單的線在你分開兩個方面的問題

在這種情況下，可以用簡單的線將藍點與紅點分開（問題是可線性分離）。然而，在XOR問題，點被位於這樣的：

這裏，單個線（感知）是不夠的。但是，多層感知器（很可能是您正在使用的神經網絡類型）可以使用多個感知器（在這種情況下爲兩個感知器）來分隔藍色和紅色點。以類似的方式，神經網絡可以分隔任何空間。

但是，XOR問題產生兩種類型的輸出，我們使用神經網絡來分離它們。另一方面，x^2產生連續的點，所以沒有什麼可以分開的。另外，請記住模仿異或函數是作爲這樣的問題的一個例子。在實踐中，沒有人使用神經網絡來替代XOR函數。如果你想使用一個函數，就使用它，而不是構建一個近似它的東西。 PS：如果你仍然想模擬練習中的x^2函數，你需要回歸。你在做什麼是分類（因爲你在輸出中使用sigma函數）。但是，練習你最好堅持分類問題。他們更加普遍。另外，對於這樣的問題，請嘗試使用Matlab，或者，如果您想用C++編寫代碼，請使用一些線性代數庫（例如EIGEN 3），以便無需一千次循環就可以輕鬆編寫代碼。