Регуляризація — це спосіб керування складністю моделі лінійної регресії шляхом штрафування коефіцієнтів, які не є важливими або нерелевантними для прогнозу. Роблячи так, регулярізація може зменшити дисперсію моделі, оскільки запобігає переобладнанню та робить модель більш стійкою до шуму та викидів.16 березня 2023 р
Регуляризація запобігає переобладнанню, не надто складним моделям. Це досягається шляхом штрафування за великі коефіцієнти, ефективно зменшуючи їхній вплив на кінцевий прогноз. Це заохочує модель краще узагальнювати невидимі дані, таким чином зменшуючи переобладнання.
Щоб уникнути надмірної підгонки в поліноміальній регресії, можна використовувати метод регуляризації щоб придушити коефіцієнти полінома вищого порядку, і в статті оцінено вплив коефіцієнтів регуляризації на поліноміальну регресію. Поліноміальну регресію [1] можна використовувати для підгонки нелінійних моделей.
Регуляризація працює шляхом додавання штрафного терміну до функції втрат моделі, що обмежує великі значення параметрів. Це обмеження на значення параметрів допомагає запобігти переобладнанню зменшення складності моделі та сприяння кращому узагальненню нових даних.
Регулярізація в глибокому навчанні — це техніка, яка використовується щоб запобігти переобладнанню та покращити узагальнення нейронних мереж. Це передбачає додавання члена регуляризації до функції втрат, що карає великі ваги або складну архітектуру моделі.
Регуляризована регресія накладає обмеження на величину коефіцієнтів і поступово зменшує їх до нуля. Це обмеження допомагає зменшити величину та коливання коефіцієнтів і зменшить дисперсію нашої моделі.