Машинное обучение Искусственные нейронные сети Искусственные нейронные сети - математические модели, а также их программные или аппаратные реализации, построенные по принципу организации и функционирования биологических нейронных сетей — сетей нервных клеток живого организма. Это понятие возникло при изучении процессов, протекающих в мозге, и при попытке смоделировать эти процессы.
ИНС представляют собой систему соединённых и взаимодействующих между собой простых процессоров (искусственных нейронов). Каждый процессор подобной сети имеет дело только с сигналами, которые он периодически получает, и сигналами, которые он периодически посылает другим процессорам. И тем не менее, будучи соединёнными в достаточно большую сеть с управляемым взаимодействием, такие локально простые процессоры вместе способны выполнять довольно сложные задачи. - ИНС представляют собой систему соединённых и взаимодействующих между собой простых процессоров (искусственных нейронов). Каждый процессор подобной сети имеет дело только с сигналами, которые он периодически получает, и сигналами, которые он периодически посылает другим процессорам. И тем не менее, будучи соединёнными в достаточно большую сеть с управляемым взаимодействием, такие локально простые процессоры вместе способны выполнять довольно сложные задачи.
С математической точки зрения, обучение нейронных сетей — это многопараметрическая задача нелинейной оптимизации. Технически обучение заключается в нахождении коэффициентов связей между нейронами. В процессе обучения нейронная сеть способна выявлять сложные зависимости между входными данными и выходными, а также выполнять обобщение. Это значит, что в случае успешного обучения сеть сможет вернуть верный результат на основании данных, которые отсутствовали в обучающей выборке, а также неполных и/или «зашумленных», частично искаженных данных. - С математической точки зрения, обучение нейронных сетей — это многопараметрическая задача нелинейной оптимизации. Технически обучение заключается в нахождении коэффициентов связей между нейронами. В процессе обучения нейронная сеть способна выявлять сложные зависимости между входными данными и выходными, а также выполнять обобщение. Это значит, что в случае успешного обучения сеть сможет вернуть верный результат на основании данных, которые отсутствовали в обучающей выборке, а также неполных и/или «зашумленных», частично искаженных данных.
Классификация - Сети прямого распространения (Feedforward)
- Многослойный перцептрон
- Сети Ворда
- Рекуррентные нейронные сети
- Сеть Хопфилда
- Сеть Хемминга
- Сеть Коско
- Радиально-базисные функции (RBF)
- Самоорганизующаяся карта Кохонена (SOM)
- Сети свертки (LeNet-5, неокогнитрон)
- Адаптивно-резонансная теория
Структура нейросети Формальный нейрон - Математически, искусственный нейрон обычно представляют как некоторую нелинейную функцию от единственного аргумента — линейной комбинации всех входных сигналов. Данную функцию называют функцией активации или функцией срабатывания, передаточной функцией. Полученный результат посылается на единственный выход.
Классификация - Входные нейроны — принимают исходный вектор, кодирующий входной сигнал. Как правило, эти нейроны не выполняют вычислительных операций, а просто передают полученный входной сигнал на выход, возможно, усилив или ослабив его;
- Выходные нейроны — представляют из себя выходы сети. В выходных нейронах могут производиться какие-либо вычислительные операции;
- Промежуточные нейроны — выполняют основные вычислительные операции
Структура нейрона Основные типы передаточных функций - Линейная
- Сигнал на выходе нейрона линейно связан со взвешенной суммой сигналов на его входе.
- f(x) = tx, где t - параметр функции
- шаговая (линейная функция с насыщением)
- Недостатками шаговой и полулинейной активационных функций относительно линейной можно назвать то, что они не являются дифференцируемыми на всей числовой оси, а значит не могут быть использованы при обучении по некоторым алгоритмам.
- Пороговая (функция Хевисайда)
- До тех пор пока взвешенный сигнал на входе нейрона не достигает некоторого уровня T — сигнал на выходе равен нулю. Как только сигнал на входе нейрона превышает указанный уровень — выходной сигнал скачкообразно изменяется на единицу.
Сигмоидальная - Логистическая
- Здесь t — это параметр функции, определяющий её крутизну. Когда t стремится к бесконечности, функция вырождается в пороговую. При t = 0 сигмоида вырождается в постоянную функцию со значением 0,5. Область значений данной функции находится в интервале (0,1).
- Важным достоинством этой функции является простота её производной, что облегчает использование этой функции при обучении сети по алгоритму обратного распространения.
- Гиперболический тангенс
- область значений лежит в интервале (-1;1)
- Другие функции
- Радиально-базисная
- Экспонента
- Тригонометрический синус
Достарыңызбен бөлісу: |
