linear:何凯明大神，永远的神

Author: miaobyte

datasetloader/mnist/train/mnist_train.go

@@ -19,10 +19,10 @@ func main() {
 	}
 	// 设置超参数
 
-	numClasses := 10     // 分类数量
-	batchSize := 32      // 批处理大小
-	learningRate := 0.01 // 学习率
-	epochs := 30         // 训练轮数
+	numClasses := 10      // 分类数量
+	batchSize := 32       // 批处理大小
+	learningRate := 0.001 // 学习率
+	epochs := 30          // 训练轮数
 	// 创建模型
 	m := &model.Model{
 		Optimizer: optimizer.NewSGD(learningRate), // 学习率设置为0.01

dl/layer/linear.go

@@ -16,7 +16,7 @@ func Linear(in_features, out_features int, biasInit bool) (l *ComputeGraphNode)
 	bias := dl.NewTensor([]int{out_features})
 
 	// 初始化权重
-
+	//何凯明大神，永远的神！用了这个，loss下降飞快100倍
 	weight.KaimingUniform(math.Sqrt(5))
 	l.RegisterParameter("weight", weight)