Обучение меняет веса по ошибке набора примеров; это оптимизация чисел, а не копия биологического мышления или доказательство понимания. Искусственный нейрон — короткая математическая операция, а не цифровая копия нервной клетки.
Если активация линейна, даже много слоёв сводятся к одному линейному преобразованию. ReLU, сигмоида и другие нелинейные функции позволяют собирать изгибы решающей границы и описывать сложные связи. Выбор функции зависит от слоя и задачи.
От ошибки к весам
Во время обучения сеть делает прогноз, функция потерь сравнивает его с правильным ответом, а обратное распространение вычисляет вклад каждого веса в ошибку. Оптимизатор делает небольшие шаги. Это итеративная настройка миллионов параметров, а не запись готового правила в отдельную ячейку.
Слой нейронов преобразует представление данных: ранние слои изображения могут реагировать на края, поздние — на сочетания признаков. Такая интерпретация полезна, но отдельный нейрон редко имеет одно устойчивое человеческое значение; информация распределена по сети.
Нелинейность позволяет сети разделять случаи
Искусственный нейрон складывает входы с весами, добавляет смещение и пропускает результат через функцию активации. Без нелинейности много слоёв свелись бы к одному линейному преобразованию.
Биологический нейрон обменивается импульсами во времени, меняет связи и живёт в химической среде. Искусственная модель заимствует лишь идею суммирования сигналов. Её сила определяется архитектурой, данными и проверкой на новых примерах, а не сходством названия с мозгом.