Совокупность нейронов соединённых тем или иным способом называется искусственной нейронной сетью или просто нейронной сетью.

Закон по которому нейроны соединены в сеть носит название структуры или топологией сети.

Множество нейронов не соединённых между собой, но соедененные с другими нейронами носит название слоя нейрона.

ИНС бывают 2х видов:

1) Однослойные

2) Многослойные

Перцептрон или "атом" ИНС​

Обычный перцептрон состоит из 1-го нейрона (Первый тип - однослойный), у которого n входов и пороговая функция активации.

Поскольку выходами сети является +1 или -1. То перцептрон эффективен для решение задачи классификации 2-х классов.

Если выход +1, то поданный на вход вектор принадлежит к I-классу, если -1 — II классу.

Вначале на 0-шаге обучения, веса входа перцептрона задаются случайным образом.

Суть обучения состоит в изменение весов.

Для осуществления процедуры обучения для всякой нейронной сети в том числе и для простого перцептрона до начала формируется обучающая выборка состоящая из векторов, которые называются обучающими векторами, причем каждый обучающий вектор состоит их 2х частей:

1) Те значения, которые подаются на вход

2) То, что должно быть с нашей точки зрения на выходе сети когда на вход сети поданы компоненты из 1-й части

Общий вид обучающего вектора:

Вообще говоря, вторая часть может быть пустой, в этом случае говорят, что обучение происходит без учителя.

Если есть — с учителем.

Вектора обучающей выборки подаются на вход сети и в соответствии с поданными векторами меняются веса Wi, i=1, n в ходе процедуры обучения.

Для простого перцептрона процедура выглядит следующим образом:

1) Подаем на вход компоненты 1й части вектора обучающей выборки Xp = (X1p, ..., Xnp), p=1, P. P — индекс вектора обучающей выборки. На этой стадии считается выход y = (Xp).

2) Сравниваем выход сети с желаемым значением.

y(xp)? d(xp),

— d(xp) — желаемое значение

— y(xp) — значение сети

Если y(xp) == d(xp) (как и надо), то p=p+1, переходим на шаг1.

Иначе — шаг 3.

3) Новое значение i-веса: Wi(t) = Wi(t-1) + d(Xp)*Xi.

p=p+1, шаг 1

Вообще говоря процедура завершена, если все вектора прошли.

Возможны 2 случая:

— обучающей выборки мало для обучения сети

— обучение завершилось гораздо раньше, чем конец выборки.

Доказательство.

В силу использовании функции sign в определении нейрона мы можем считать ||W*||=1.

Введем в рассмотрение косинус угла между текущим значением набора весов и W*.

Поскольку W* является точным решением, то |(W*, X)|>=delta>0.

Коль скоро происходит процедура обучения, то текущий набор векторов W(t) неправильно осуществляет классификацию для текущего вектора X, а значит величина d(x)*(x, W*) = |(X, W*)|, а потому имеем (1) >= (W(t), W*)+delta.

В силу той же логики, коль скоро происходит обучение, то знаки d(x)*(X, W(T)) (W(0), W*)+tdelta.
||W(t+1)|| (W(0), W*)+tdelta.
||W(t+1)|| +inf.

Полученное противоречие доказывает, что существует некая tmax после которой веса уже не меняются, что означает сходимость алгоритма обучения за конечное число шагов.

Доказано.

Классический пример задачи, которую не сможет решить простой перцептрон является XOR.

1) Для начала создадим класс перцептрона. Там мы зададим веса, размерности и пороги.

Так-же реализуем функцию активации, которая в цикле будет разберать "веса".

2) Теперь зададим функцию "порогов".

3) Опять займёмся весами. Будем тыкать пальцем в небо и используем рандом

4) Теперь загружаем ранее сгенерированый результат.

5) Теперь перейдём к самому вкусному =) Тут Мы зададим матрицу для распознавания линий и квадраток.

Как Вы понимаете 1 - это "обозначенные" пиксели, а 0 - "пустые". В нашем случае - черное и белое.

Тут мы зададим обучение в видео матриц 8х8 пикселей.

6) Обучаем перцептрон распознавать квадраты.


7) Тут обучим распознавать разного рода прямые

8) Теперь запишем выученый материал в файл

9) Теперь проверим нашу ИНС =)

Скачать архив с PHP скриптом!

Материал взят from google

Изложил более-менее подробно. Как-раз решил занятся написанием нейронки для распознавания текстов

Всем спасибо за внимание! Надеюсь Вам понравилось =)