Что такое градиент функции и производная по направлению

Производная по направлению

Пусть $F$F – функция на плоскости или в пространстве.

Производной функции $F$F по направлению вектора $a$a в точке $M$M называется число

$\frac{\partial F}{\partial a}\left(M\right)=\frac{1}{\parallel a\parallel }{\frac{d}{d\epsilon }F}_{(M+\epsilon a)}$∂a∂F​(M)=∥a∥1​dεd​F(M+εa)∣∣​ε=​,

если производная в правой части существует.

Пример 2

Найдем производную функции $F(x,y,z)=x^{2}y-y^{2}z+z^{2}x$F(x,y,z)=x2y−y2z+z2x по направлению вектора $a=i-2j+2k$a=i−2j+2k в точке $M(-1,,1)$M(−1,,1).

Вычисляем значение функции в точке $M+\epsilon a$M+εa с координатами $(-1+\epsilon ,-2\epsilon ,1+2\epsilon )$(−1+ε,−2ε,1+2ε):

$F$F(M+εa)=(−1+ε)2(−2ε)−(−2ε)2(1+2ε)+(1+2ε)2(−1+ε)=−6ε3−5ε−1.

Длина вектора $a$a:

$\parallel a\parallel =\sqrt{a_1^2+a_2^2+a_3^2}=\sqrt{1^2+(-2{)}^2+2^2}=\sqrt{9}=3.$∥a∥=a12​+a22​+a32​​=12+(−2)2+22​=9​=3.

Производная по направлению: $\frac{\partial F}{\partial a}\left(M\right)=\frac{1}{\parallel a\parallel }{\frac{d}{d\epsilon }F}_{(M+\epsilon a)}$∂a∂F​(M)=∥a∥1​dεd​F(M+εa)∣∣​ε=​=31​dεd​(−6ε3−5ε−1)∣∣​ε=​=−35​

Градиент векторных сумм

Одной из наиболее распространенных операций в глубоком обучении является операция суммирования. Как мы можем найти градиент функцииу = сумма (Икс)?

у = сумма (Икс)также может быть представлен как:

Читайте также: Как найти диаметр окружности онлайн калькулятор, 3 формулы расчёта

Следовательно, градиент может быть представлен как:

А так как частная производная функции по переменной, которой нет в функции, равна нулю, ее можно дополнительно упростить следующим образом:

Обратите внимание, что результатом является горизонтальный вектор.

Как насчет градиентау = сумма (Иксг)? Единственное отличие состоит в том, что мы умножаем каждый частный с константой, z:

Хотя это является производной по отношению кИкс, производная по скаляруZэто просто число:

Видео

Градиент функции идентичности

Давайте возьмем функцию идентичности,у = ф (х) = х, гдеFi (Икс) = xiи найдите его градиент:

Так же, как мы создали наш предыдущий якобиан, мы можем найти градиенты каждой скалярной функции и сложить их вертикально, чтобы создать якобиан тождественной функции:

Поскольку это функция идентичности, f₁ (Икс) = x₁, f₂ (Икс) = х₂ и тд. Следовательно,

Частичная производная функции по переменной, которой нет в функции, равна нулю. Например, частная производная 2x² по y равна 0. Другими словами,

Поэтому все, что не на диагонали якобиана, становится равным нулю. Между тем, частная производная любой переменной по отношению к себе равна 1. Например, частная производнаяИксв отношенииИксравен 1. Следовательно, якобиан становится:

Субградиентный спуск

дифференцируемая функция выпукла тогда и только тогда, когда выполняется для всех субградиентомсубдифференциалом

субградиентный спуск не сходится при постоянном размере шага

1. Допустим мы начали из точки .
2. Шаг субградиентного спуска:

   

3. Если , то первые несколько шагов мы будет вычитать единицу, если , то прибавлять. Так или иначе мы в какой-то момент окажемся на интервале , из которого попадем в , а дальше будем прыгать между двумя точками этих интервалов.

Примеры решений

Пример 1

Найти градиент функции $ u = x + \ln (z^2+y^2) $ в точке $ M(2,1,1) $

Решение

Находим частные производные первого порядка функции трёх переменных: $$ \frac{\partial f}{\partial x} = 1; \frac{\partial f}{\partial y} = \frac{2y}{z^2+y^2}; \frac{\partial f}{\partial z} = \frac{2z}{z^2+y^2} $$ Вычисляем значение производных в точке $ M(2,1,1) $: $$ \frac{\partial f}{\partial x} \bigg |_{M(2,1,1)} = 1 $$ $$ \frac{\partial f}{\partial y} \bigg |_{M(2,1,1)} = \frac{2 \cdot 1}{1^2+1^2} = \frac{2}{2}=1 $$ $$ \frac{\partial f}{\partial z} \bigg |_{M(2,1,1)} = \frac{2\cdot 1}{1^2 + 1^2} = \frac{2}{2}=1 $$ Подставляем в формулу градиента функции полученные данные: $$ grad f = 1 \cdot \overline{i} + 1 \cdot \overline{j} + 1 \cdot \overline{k} = \overline{i}+\overline{j}+\overline{k} $$ Запишем ответ в координатной форме: $$ grad f = \overline{i}+\overline{j}+\overline{k} = (1,1,1) $$ Если не получается решить свою задачу, то присылайте её к нам. Мы предоставим подробное решение. Вы сможете ознакомиться с ходом вычисления и почерпнуть информацию. Это поможет своевременно получить зачёт у преподавателя!

Ответ

$$ grad f = (1,1,1) $$

Решение задач от 20 руб подробное написание Рефераты от 200 руб Уникальность 95%

Пример 2

Найти градиент функции $ u = \sin(x+2y)+2\sqrt{xyz} $ в точке $ M \bigg (\frac{\pi}{2},\frac{3\pi}{2},3 \bigg ) $

Решение

Находим частные производные: $$ \frac{\partial f}{\partial x} = \cos(x+2y) + \frac{yz}{\sqrt{xyz}} $$ $$ \frac{\partial f}{\partial y} = 2\cos(x+2y) + \frac{xz}{\sqrt{xyz}} $$ $$ \frac{\partial f}{\partial z} = \frac{xy}{\sqrt{xyz}} $$ Вычисляем значения производных в точке $ M \bigg (\frac{\pi}{2},\frac{3\pi}{2},3 \bigg ) $: $$ \frac{\partial f}{\partial x} \bigg |_{M(\frac{\pi}{2},\frac{3\pi}{2},3)} = \cos(\frac{\pi}{2}+3\pi)+ \frac{\frac{9\pi}{2}}{\sqrt{\frac{9\pi^2}{4}}} = \cos \frac{7\pi}{2} + \sqrt{9} = 3 $$ $$ \frac{\partial f}{\partial y} \bigg |_{M(\frac{\pi}{2},\frac{3\pi}{2},3)} = 2 \cos(\frac{\pi}{2}+3\pi) + \frac{\frac{3\pi}{2}}{\sqrt{\frac{9\pi^2}{4}}} = 2 \cos \frac{7\pi}{2} + 1 = 2 \cdot 0 + 1 = 1 $$ $$ \frac{\partial f}{\partial y} \bigg |_{M(\frac{\pi}{2},\frac{3\pi}{2},3)} = \frac{\frac{3\pi^2}{4}}{\sqrt{\frac{9\pi^2}{4}}} = \sqrt{\frac{\pi^2}{4}} = \frac{\pi}{2} $$ Подставляем вычисленные недостающие данные в формулу и получаем: $$ grad f = 3 \cdot \overline{i}+ 1 \cdot \overline{j} + \frac{\pi}{2} \cdot \overline{k} = 3\overline{i}+\overline{j}+\frac{\pi}{2} \overline{k} $$ Записываем ответ в координатной форме: $$ grad f = (3,1,\frac{\pi}{2}) $$

Ответ

$$ grad f = (3,1,\frac{\pi}{2}) $$

Теги