1.梯度下降：

首先，我们有一个可导的函数。这个函数就代表着一座山。我们的目标就是找到这个函数的最小值，也就是山底。根据之前的场景假设，最快的下山的方式就是找到当前位置最陡峭的方向，然后沿着此方向向下走，对应到函数中，就是找到给定点的梯度 ，然后朝着梯度相反的方向，就能让函数值下降的最快！因为梯度的方向就是函数之变化最快的方向(在后面会详细解释)

所以，我们重复利用这个方法，反复求取梯度，最后就能到达局部的最小值，这就类似于我们下山的过程。而求取梯度就确定了最陡峭的方向，也就是场景中测量方向的手段。那么为什么梯度的方向就是最陡峭的方向呢？首先梯度是什么？

1.1梯度

一阶函数里梯度就是表示某一函数在该点处的方向导数沿 着该方向取得较大值，即函数在当前位置的导数。 如果函数为一元函数，梯度就是该函数的导数。

而多元函数中，我们可以看到，梯度就是分别对每个变量进行偏导，然后用逗号分割开，梯度是用<>包括起来，说明梯度其实一个向量，向量有方向，梯度的方向就指出了函数在给定点的上升最快的方向。

\nabla f\left(x_{1},x_{2}\right)=\frac{\partial y}{\partial x_{1}}i+\frac{\partial y}{\partial x_{2}}j \\J(\Theta)=0.55-(5\theta_1+2\theta_2-12\theta_3) \\\triangledown J(\Theta)=\left\langle\frac{\partial J}{\partial\theta_1},\frac{\partial J}{\partial\theta_2},\frac{\partial J}{\partial\theta_3}\right\rangle=(-5,-2,12)

这也就说明了为什么我们需要千方百计的求取梯度！我们需要到达山底，就需要在每一步观测到此时最陡峭的地方，梯度就恰巧告诉了我们这个方向。梯度的方向是函数在给定点上升最快的方向，那么梯度的反方向就是函数在给定点下降最快的方向, 这正是我们所需要的。所以我们只要沿着梯度的方向一直走，就能走到局部的最低点！

1.2 核心公式

$ \theta = \theta_{0} - \eta\cdot\nabla f(\theta_0) $

此公式的意义是：f 是关于Θ的一个函数，我们当前所处的位置为Θ0点，要从这个点走到 f 的最小值点，也就是山底。首先我们先确定前进的方向，也就是梯度的反向，然后走一段距离的步长，也就是η，走完这个段步长，就到达了Θ这个点！

η 在梯度下降算法中被称作为学习率或者步长，意味着我们可以通过η来控制每一步走的距离，步长太大走的就容易偏离路线，其实就是不要走太快，错过了最低点。同时也要保证不要走的太慢，导致太阳下山了，还没有走到山下。所以η的选择在梯度下降法中往往是很重要的！η不能太大也不能太小，太小的话，可能导致迟迟走不到最低点，太大的话，会导致错过最低点！

2反向传播算法

# python # conda # 机器学习 # 深度学习 # 神经网络
Logo
2048 AI社区

有“AI”的1024 = 2048，欢迎大家加入2048 AI社区

更多推荐

云闪付联合HarmonyOS SDK打造更便捷安全的支付体验

（Scan Kit），作为软硬协同的系统级扫码服务，Scan Kit应用了多项计算机视觉和AI技术，不仅实现了远距离自动扫码，同时还对各种复杂扫码场景（如暗光、污损、模糊、小角度、曲面码等）做了识别优化。比如扫码时，云闪付可以选择二维码的图片识别，减少用户找二维码的时间。云闪付是由各商业银行、产业各方与中国银联共建共享的移动支付产品，通过聚合银行业资源与银联广阔网络，覆盖更广阔的服务场景，如商超、

avatar 2048 AI社区

我的后台管理项目报Error: spawn …esbuild.exe ENOENT了

个人的能力和知识都是有限的，遇到问题优先和同事沟通，也许他们也踩到同样坑，他们很有可能有自己的爬坑结果，你能最快的速度解决问题投入项目开发，但是他们提供的方案并不一定是最优的，要自己针对错误做一些尝试，如上方案3就是我觉得同事给的方法应该不是最佳的，我个人尝试出来的，其实解决这次问题对我也有一点提醒，项目安装完依赖的时候，如果有警告得多留意，当项目跑不起来的时候，也许这个警告就是问题根源，当然对于

avatar 2048 AI社区

233章:AI是什么,常见AI工具有哪些?

?一、AI 到底是什么？AI，即人工智能（Artificial Intelligence） ，是计算机科学的一个分支，它致力于开发能够模拟、延伸和扩展人类智能的理论、方法、技术及应用系统。简单来说，就是让计算机像人类一样思考、学习和决策。举个例子，当你使用智能语音助手，像苹果的 Siri、小米的小爱同学，你跟它们说 “帮我定个明天早上 8 点的闹钟”，或者 “播放一首周杰伦的歌” ，它们能理解你的

avatar 2048 AI社区