linear:何凯明大神，永远的神

miaobyte · miaobyte · commit 963262a6356e · 2024-10-12T17:04:22.000+08:00
diff --git a/dl/tensor_initializer.go b/dl/tensor_initializer.go
@@ -14,6 +14,7 @@ func (t *Tensor) Xavier(inFeatures int) {
 }
 
 // KaimingUniform 使用 Kaiming uniform 初始化方法初始化张量
+// Kaiming 初始化是专门为使用 ReLU 激活函数的深度网络设计的。它可以帮助保持每一层输入和输出的方差，防止梯度消失或爆炸问题
 func (t *Tensor) KaimingUniform(a float64) {
 	fanIn, _ := CalculateFanInAndFanOut(t)
 	std := a / math.Sqrt(float64(fanIn))

Original file line number	Diff line number	Diff line change
`@@ -14,6 +14,7 @@ func (t *Tensor) Xavier(inFeatures int) {`
`14`	`14`	`}`
`15`	`15`
`16`	`16`	`// KaimingUniform 使用 Kaiming uniform 初始化方法初始化张量`
	`17`	`+// Kaiming 初始化是专门为使用 ReLU 激活函数的深度网络设计的。它可以帮助保持每一层输入和输出的方差，防止梯度消失或爆炸问题`
`17`	`18`	`func (t *Tensor) KaimingUniform(a float64) {`
`18`	`19`	`fanIn, _ := CalculateFanInAndFanOut(t)`
`19`	`20`	`std := a / math.Sqrt(float64(fanIn))`