Exercițiul 1

Neuron cu două intrări. Funcția de transfer este identitate, funcția de pierdere este suma pătratelor erorilor.

f (x) = 1 (w^{⊤} x + b) = w^{⊤} x + b

Unde $1$ e identitatea și $L$ e funcția de pierdere.

L (\hat{y}, y) = \sum_{i = 1}^{n} ({\hat{y}}_{i} - y_{i})^{2}

Unde

y_{i} = w^{⊤} x_{i} + b

Deci

L (\hat{y}, y) = \sum_{i = 1}^{n} (w^{⊤} x_{i} + b - y_{i})^{2}

Algoritmul coborârii pe gradient updatează așa:

W_{n} = W_{n - 1} - λ \nabla L

Unde

\nabla L = (\begin{matrix} \frac{\partial L}{\partial w_{1}} \\ \frac{\partial L}{\partial w_{2}} \end{matrix})

Derivata intră în sumă, deci derivăm doar termenul din sumă

f (x_{1}, x_{2}) = (w_{1} x_{1 i} + w_{2} x_{2 i} + b - y_{i})^{2}

Deci

\frac{\partial f}{\partial w_{1}} = 2 (w_{1} x_{1 i} + w_{2} x_{2 i} + b - y_{i}) \cdot x_{1 i}

Analog

\frac{\partial f}{\partial w_{2}} = 2 (w_{1} x_{1 i} + w_{2} x_{2 i} + b - y_{i}) \cdot x_{2 i}

Deci

\nabla f = 2 (w^{⊤} x_{i} + b - y_{i}) x

Iar

\nabla L = \sum_{i = 1}^{n} 2 ({\hat{y}}_{i} - y_{i}) x_{i}

Deci

W_{n} = W_{n - 1} - α \sum_{i = 1}^{n} 2 ({\hat{y}}_{i} - y_{i}) x_{i}

Iar pentru bias:

b_{n} = b_{n - 1} - α \frac{\partial L}{\partial b}

Deci

b_{n} = b_{n - 1} - α \sum_{i = 1}^{n} 2 ({\hat{y}}_{i} - y_{})

Exercițiul 2

Pasted image 20260605173050.png
b)

Ieșirea pentru

x = (\begin{matrix} 1 \\ 0 \end{matrix})

Mai întâi trecerea în stratul ascuns:

\begin{aligned} W x + b & = (\begin{array}{c} - 1 & - 1 \\ 0 & 1 \\ 1 & 1 \end{array}) \cdot (\begin{array}{c} 1 \\ 0 \end{array}) + (\begin{array}{c} 0.5 \\ - 0.5 \\ - 1.5 \end{array}) = \\ = (\begin{array}{c} - 1 \\ 0 \\ 1 \end{array}) + (\begin{array}{c} 0.5 \\ - 0.5 \\ - 1.5 \end{array}) = \\ = (\begin{array}{c} - 0.5 \\ - 0.5 \\ - 0.5 \end{array}) \end{aligned}

Se aplică funcția $sgn$

sgn ((\begin{matrix} - 0.5 \\ - 0.5 \\ - 0.5 \end{matrix})) = (\begin{matrix} - 1 \\ - 1 \\ - 1 \end{matrix})

Trecerea în ultimul neuron

(\begin{matrix} - 1 & - 1 & - 1 \end{matrix}) \cdot (\begin{matrix} - 1 \\ - 1 \\ - 1 \end{matrix}) = 3

Activarea prin hardlim:

hardlim (3) = 1