ФУНКЦИИ АКТИВАЦИИ НЕЙРОННЫХ СЕТЕЙ, ИХ ВИЗУАЛИЗАЦИЯ И ПРИМЕНЕНИЕ В ПРОГРАММИРОВАНИИ НА ПРИМЕРЕ БИБЛИОТЕКИ TENSORFLOW - Максимук, Владислав Александрович; Максимук, Роман Александрович (Вестник Брестского государственного технического университета, 2026)
В представленной научной работе проводится комплексное исследование функций активации (AF) – фундаментального компонента искусственных нейронных сетей, определяющего выходной сигнал узла на основе входных данных. Работа последовательно раскрывает роль AF как критического элемента нелинейности, который позволяет глубоким архитектурам обучаться сложным паттернам и выступать в роли универсальных аппроксиматоров. Статья показывает эволюцию математических методов преобразования сигнала: от простейших линейных функций (Identity), пригодных лишь для задач скалярной регрессии, до сложных адаптивных и немонотонных структур. В работе проанализированы S-образные кривые (Sigmoid, Tanh), семейство ReLU, экспоненциальные юниты, обучаемые функции и диверсифицированные экспериментальные образцы. Произведен также анализ градиентных потоков. В работе рассмотрено, как математические свойства производных AF влияют на возникновение проблем затухающего и взрывного градиентов. Демонстрируется, как переход от насыщающихся функций (сигмоида) к ReLU-подобным позволил ускорить обучение глубоких сетей, а внедрение таких функций, как GELU, стало индустриальным стандартом для современных трансформерных архитектур (BERT, GPT). Исследование раскрывает потенциал современных решений, таких как Swish и Mish. Эти функции, полученные путем автоматизированного поиска и систематического анализа, за счет своей гладкости и немонотонности обеспечивают более эффективную пропагацию информации в сверхглубоких сетях. В разделе специализированных функций рассматриваются инструменты вероятностной нормировки, такие как Softmax, и их разреженные альтернативы (Sparsemax, Entmax). Практическая значимость работы подкреплена примерами реализации в среде TensorFlow. Статья показывает, как механизмы автоматического дифференцирования (GradientTape) и инструменты визуализации (TensorBoard) позволяют исследователю эффективно отслеживать динамику активаций и стабильность обучения. Ключевые выводы работы подчеркивают, что выбор функции активации – это не просто технический параметр, а стратегическое архитектурное решение, напрямую влияющее на точность, скорость сходимости и обобщающую способность искусственного интеллекта.