如何解决从浮点到整数权重的神经网络
我已经编写了一个简单的程序，该程序使用C语言中带有浮点权重的神经网络。现在，我想使用int8_t或int16_t权重，应该如何更改代码？训练是整数中一个有问题的部分。
这是简单的示例：
这是净定义
#include <stdio.h>
#include <stdlib.h>
typedef double NNType;
// numer of inputs
#define IN 2
// number neurons layer hidden
#define HID 8
// numer of outputs
#define OUT 1
// learning constant
#define EPS 0.1
NNType input[IN]; // input
NNType hidden[HID]; // layer hidden
NNType output[OUT]; // output
NNType weightH[HID][IN]; // weights layer hidden
NNType biasesH[HID]; // biases layer hidden
NNType weightO[OUT][HID]; // weights output
NNType biasesO[OUT]; // biases output
这部分是网络计算和训练部分
inline NNType Activation(NNType x)
{
return x>0?x:0;
}
inline NNType Derivative(NNType x)
{
return x>0?1:0;
}
NNType NetworkResult(NNType inp1,NNType inp2)
{
// load the inputs
input[0]=inp1;
input[1]=inp2;
// compute hidden layer
for (int i=0;i<HID;i++)
{
hidden[i]=biasesH[i];
for (int j=0;j<IN;j++)
hidden[i] += input[j]*weightH[i][j];
hidden[i]=Activation(hidden[i]);
}
// compute output
for (int i=0;i<OUT;i++)
{
output[i]=biasesO[i];
for (int j=0;j<HID;j++)
output[i] += hidden[j]*weightO[i][j];
output[i]=Activation(output[i]);
}
return output[0];
}
void TrainNet(NNType inp1,NNType inp2,NNType result)
{
NetworkResult(inp1,inp2);
NNType DeltaO[OUT];
NNType DeltaH[HID];
// layer output
NNType err= result-output[0];
DeltaO[0]=err*Derivative(output[0]);
// layer hidden
for (int i=0;i<HID;i++)
{
NNType err=0;
for (int j=0;j<OUT;j++)
err+= DeltaO[j]*weightO[j][i];
DeltaH[i]=err*Derivative(hidden[i]);
}
// change weights
// layer output
for (int i=0;i<OUT;i++)
{
for (int j=0;j<HID;j++)
weightO[i][j]+=EPS*DeltaO[i]*hidden[j];
biasesO[i]+=EPS*DeltaO[i];
}
// layer hidden
for (int i=0;i<HID;i++)
{
for (int j=0;j<IN;j++)
weightH[i][j]+=EPS*DeltaH[i]*input[j];
biasesH[i]+=EPS*DeltaH[i];
}
}
这是训练网络学习异或运算的程序的主要部分
// constant for weights initializations
#define CONSTINIT 0.1
int main(int argc,char *argv[])
{
srand(1);
// initalize weights and biases
for (int i=0;i<HID;i++)
{
for (int j=0;j<IN;j++)
weightH[i][j]= 2.0 * ( (rand()/((NNType)RAND_MAX)) - 0.5 ) * CONSTINIT;
biasesH[i]=0.1;
}
for (int i=0;i<OUT;i++)
{
for (int j=0;j<HID;j++)
weightO[i][j]= 2.0 * ( (rand()/((NNType)RAND_MAX)) - 0.5 ) * CONSTINIT;
biasesO[i]=0.1;
}
// calculate the results with the random weights
printf("0 0 = %f\n",NetworkResult(0,0));
printf("0 1 = %f\n",1));
printf("1 0 = %f\n",NetworkResult(1,0));
printf("1 1 = %f\n",1));
printf("\n");
// Train the net to recognize an xor operation
for (int i=0;i<1000;i++)
{
TrainNet(0,0); // input 0 0 result 0
TrainNet(0,1,1); // input 0 1 result 1
TrainNet(1,1); // input 1 0 result 1
TrainNet(1,0); // input 1 1 result 0
}
// calculate the results after the train
printf("0 0 = %f\n",1));
printf("\n");
return 0;
}
解决方法
我已经编写了一个简单的程序，该程序使用C语言中带有浮点权重的神经网络。现在，我想使用int8_t或int16_t权重，应该如何更改代码？训练是整数中一个有问题的部分。
我不明白为什么培训会带来问题，我想您是说这对浮子有问题。
无论如何，我想建议的是，对于神经网络操作，不要在浮点上使用整数。您会看到，根据在使用或训练网络期间执行的数学运算的性质，必须使用浮点数（或双精度数）来实现它。否则，您将丢失小数部分的信息。
当然，可以使用整数。毕竟，浮点数x.yy乘以100时将是一个整数，但是实现所有方法都将是不必要的。
,现在我要使用int8_t或int16_t权重，应该如何更改代码？训练是整数中一个有问题的部分。
代码使用浮点将值保持在[-1.0 ... 1.0]范围内。
直接移动到整数类型仅给出3个值-1,1。对于整数，我希望您希望使用 scaling 。如果使用int8_t，则可能是[-64 ... 64]。每次代码使用*时，都需要对产品进行缩放。
// input[j] * weightH[i][j]
input[j] * weightH[i][j] / 64;
选择加/减需要测试以检测溢出。
使用浮点数看起来很容易，但是使用整数变得棘手（虽然可能更快）。
一些未经测试的代码，仅用于随机数部分。
// weightH[i][j]= 2.0 * ( (rand()/((NNType)RAND_MAX)) - 0.5 ) * CONSTINIT;
// Break CONSTINIT into even numerator/denominator parts.
// Map [0...RAND_MAX] to [-64 ... 64]* CONSTINIT
#define scale_up (2LL*(64 - -64 + 1)*CONSTINIT_NUMERATOR)
#define scale_dn (2LL*RAND_MAX*CONSTINIT_DENOMINATOR)
long long r = scale_up*rand() - scale_up*RAND_MAX/2;
// add proper signed one-half divisor
r += (r < 0) ? -scale_dn/2 : scale_dn/2;
weightH[i][j]= r/scale_dn; // scale down
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。