Содержание материала
Производная по направлению
Пусть F – функция на плоскости или в пространстве.
Производной функции F по направлению вектора a в точке M называется число
∂a∂F(M)=∥a∥1dεdF(M+εa)∣∣ε=,
если производная в правой части существует.
Пример 2
Найдем производную функции F(x,y,z)=x2y−y2z+z2x по направлению вектора a=i−2j+2k в точке M(−1,,1).
Вычисляем значение функции в точке M+εa с координатами (−1+ε,−2ε,1+2ε):
F(M+εa)=(−1+ε)2(−2ε)−(−2ε)2(1+2ε)+(1+2ε)2(−1+ε)=−6ε3−5ε−1.
Длина вектора a:
∥a∥=a12+a22+a32=12+(−2)2+22=9=3.
Производная по направлению: ∂a∂F(M)=∥a∥1dεdF(M+εa)∣∣ε==31dεd(−6ε3−5ε−1)∣∣ε==−35
Градиент векторных сумм
Одной из наиболее распространенных операций в глубоком обучении является операция суммирования. Как мы можем найти градиент функцииу = сумма (Икс)?
у = сумма (Икс)также может быть представлен как:
Следовательно, градиент может быть представлен как:
А так как частная производная функции по переменной, которой нет в функции, равна нулю, ее можно дополнительно упростить следующим образом:
Обратите внимание, что результатом является горизонтальный вектор.
Как насчет градиентау = сумма (Иксг)? Единственное отличие состоит в том, что мы умножаем каждый частный с константой, z:
Хотя это является производной по отношению кИкс, производная по скаляруZэто просто число:
Видео
Градиент функции идентичности
Давайте возьмем функцию идентичности,у = ф (х) = х, гдеFi (Икс) = xiи найдите его градиент:
Так же, как мы создали наш предыдущий якобиан, мы можем найти градиенты каждой скалярной функции и сложить их вертикально, чтобы создать якобиан тождественной функции:
Поскольку это функция идентичности, f₁ (Икс) = x₁, f₂ (Икс) = х₂ и тд. Следовательно,
Частичная производная функции по переменной, которой нет в функции, равна нулю. Например, частная производная 2x² по y равна 0. Другими словами,
Поэтому все, что не на диагонали якобиана, становится равным нулю. Между тем, частная производная любой переменной по отношению к себе равна 1. Например, частная производнаяИксв отношенииИксравен 1. Следовательно, якобиан становится:
Субградиентный спуск
дифференцируемая функция























- Допустим мы начали из точки
.
- Шаг субградиентного спуска:
- Если
, то первые несколько шагов мы будет вычитать единицу, если
, то прибавлять. Так или иначе мы в какой-то момент окажемся на интервале
, из которого попадем в
, а дальше будем прыгать между двумя точками этих интервалов.




Примеры решений
Пример 1 |
Найти градиент функции $ u = x + \ln (z^2+y^2) $ в точке $ M(2,1,1) $ |
Решение |
Находим частные производные первого порядка функции трёх переменных: $$ \frac{\partial f}{\partial x} = 1; \frac{\partial f}{\partial y} = \frac{2y}{z^2+y^2}; \frac{\partial f}{\partial z} = \frac{2z}{z^2+y^2} $$ Вычисляем значение производных в точке $ M(2,1,1) $: $$ \frac{\partial f}{\partial x} \bigg |_{M(2,1,1)} = 1 $$ $$ \frac{\partial f}{\partial y} \bigg |_{M(2,1,1)} = \frac{2 \cdot 1}{1^2+1^2} = \frac{2}{2}=1 $$ $$ \frac{\partial f}{\partial z} \bigg |_{M(2,1,1)} = \frac{2\cdot 1}{1^2 + 1^2} = \frac{2}{2}=1 $$ Подставляем в формулу градиента функции полученные данные: $$ grad f = 1 \cdot \overline{i} + 1 \cdot \overline{j} + 1 \cdot \overline{k} = \overline{i}+\overline{j}+\overline{k} $$ Запишем ответ в координатной форме: $$ grad f = \overline{i}+\overline{j}+\overline{k} = (1,1,1) $$ Если не получается решить свою задачу, то присылайте её к нам. Мы предоставим подробное решение. Вы сможете ознакомиться с ходом вычисления и почерпнуть информацию. Это поможет своевременно получить зачёт у преподавателя! |
Ответ |
$$ grad f = (1,1,1) $$ |
Пример 2 |
Найти градиент функции $ u = \sin(x+2y)+2\sqrt{xyz} $ в точке $ M \bigg (\frac{\pi}{2},\frac{3\pi}{2},3 \bigg ) $ |
Решение |
Находим частные производные: $$ \frac{\partial f}{\partial x} = \cos(x+2y) + \frac{yz}{\sqrt{xyz}} $$ $$ \frac{\partial f}{\partial y} = 2\cos(x+2y) + \frac{xz}{\sqrt{xyz}} $$ $$ \frac{\partial f}{\partial z} = \frac{xy}{\sqrt{xyz}} $$ Вычисляем значения производных в точке $ M \bigg (\frac{\pi}{2},\frac{3\pi}{2},3 \bigg ) $: $$ \frac{\partial f}{\partial x} \bigg |_{M(\frac{\pi}{2},\frac{3\pi}{2},3)} = \cos(\frac{\pi}{2}+3\pi)+ \frac{\frac{9\pi}{2}}{\sqrt{\frac{9\pi^2}{4}}} = \cos \frac{7\pi}{2} + \sqrt{9} = 3 $$ $$ \frac{\partial f}{\partial y} \bigg |_{M(\frac{\pi}{2},\frac{3\pi}{2},3)} = 2 \cos(\frac{\pi}{2}+3\pi) + \frac{\frac{3\pi}{2}}{\sqrt{\frac{9\pi^2}{4}}} = 2 \cos \frac{7\pi}{2} + 1 = 2 \cdot 0 + 1 = 1 $$ $$ \frac{\partial f}{\partial y} \bigg |_{M(\frac{\pi}{2},\frac{3\pi}{2},3)} = \frac{\frac{3\pi^2}{4}}{\sqrt{\frac{9\pi^2}{4}}} = \sqrt{\frac{\pi^2}{4}} = \frac{\pi}{2} $$ Подставляем вычисленные недостающие данные в формулу и получаем: $$ grad f = 3 \cdot \overline{i}+ 1 \cdot \overline{j} + \frac{\pi}{2} \cdot \overline{k} = 3\overline{i}+\overline{j}+\frac{\pi}{2} \overline{k} $$ Записываем ответ в координатной форме: $$ grad f = (3,1,\frac{\pi}{2}) $$ |
Ответ |
$$ grad f = (3,1,\frac{\pi}{2}) $$ |