BetVictor Sports(伟德体育)国际官网英伟达成功的四要素

　　BetVictor Sports(伟德体育)国际官网(访问: hash.cyou 领取999USDT）

　　“总的来说，我们获得的最大收益来自更好的数字表示，”Dally告诉工程师。这些数字代表神经网络的关键参数。其中一个参数是权重——模型中神经元与神经元连接的强度——另一个参数是激活——将神经元加权输入的总和相乘，以确定它是否激活，从而将信息传播到下一层。在 P100 之前，Nvidia GPU 使用单精度浮点数字表示这些权重。由IEEE 754 标准定义，它们的长度为 32 位，其中 23 位表示分数，8 位本质上用作分数的指数，1 位表示数字的符号。

　　但机器学习研究人员很快了解到，在许多计算中，他们可以使用不太精确的数字，而他们的神经网络仍然会得出同样准确的答案。这样做的明显优点是，如果需要处理更少的位，则执行机器学习关键计算（乘法和累加）的逻辑可以变得更快、更小、更高效。（Dally 解释说，乘法所需的能量与位数的平方成正比。）因此，在 P100 中，Nvidia 使用 FP16 将这个数字减少了一半。谷歌甚至推出了自己的版本，名为bfloat16。（区别在于分数位的相对数量（提供精度）和指数位（提供范围）。Bfloat16 的范围位数量与 FP32 相同，因此更容易在两种格式之间来回切换。）