Введение
Функция активации является основным вычислительным ядром искусственного интеллекта, в основном для нейронной сети, и сегодня мы попытаемся сделать обзор некоторых из них, предоставив краткое введение и наглядный пример обычного варианта использования.
Двоичная ступенчатая функция
Функция бинарного шагаили «Функция шага Хевисайда». Это функция, представляющая сигнал, который включает определенное значение или через определенное время пороговое значение. Функция двоичного шага используется в основном с одной нейронной сетью персептрона и используется для линейного разделения между двумя классами. Но есть небольшая оговорка, связанная с использованием бинарной ступенчатой функции в NN, основанная на исчислении, градиентный спуск ступенчатой функции всегда равен 0, что означает отсутствие изменения рейтинга для обновления весов.
В следующем мы можем найти «питоновскую» реализацию функции Binary step.
Линейная функция активации
Линейная функция активации, которая принимает входные данные из диапазона [-inf, +inf] и создает диапазон [-inf, +inf], немного лучше, чем бинарная ступенчатая функция, в которой она размещается между {0, 1}. вместо этого он может иметь ту же проблему, что и все линейные функции, где производная всегда является константой, что делает обратное распространение бесполезным с точки зрения обновления весов. еще одна проблема с линейной активацией, которая делает слой стека в NN без какого-либо эффекта, и последний слой, поскольку первый слой все еще имел линейную активацию.
Вот фрагмент кода для линейной реализации и сюжета
Сигмовидная функция активации
Переходя к нашей первой нелинейной функции активации и одной из наиболее часто используемых по нескольким причинам, та же форма со ступенчатой функцией Хевисайда, но ее плавность может предотвратить скачки на выходе, которые прыгают между 0 и 1. Это делает сигмовидную функция, которая лучше всего подходит для классификации, помогает с четким прогнозом.
Функция активации Тан
Гиперболический тангенс является тригонометрической функцией, подобно сигмовидной функции, разделяющей с ней все преимущества элементарных изменений градиентного спуска. Но у функции активации Tanh есть свое секретное оружие против самого сильного отрицательного значения из-за нулевой центристской формы.
Выпрямленная линейная единица (ReLU)
Выпрямленная линейная единица или RelU для выстрела — это функция активации, используемая для сходимости нейронной сети очень быстро, чем сигмоида или Tanh. Несмотря на то, что это выглядит как линейная функция, но она обманута для отрицательного диапазона, который дает функции производную. Но функция RelU может умереть при нулевом или отрицательном значении.
Функция активации Softmax
Функция активации softmax лучше всего подходит для выходного слоя для возможности классификации One-Vs-All между выходными классами в множественной классификации.
