In Figure 1 (b) we consider a simpl

In Figure 1 (b) we consider a simple linear regression model with one parameter θ and one observation z = θ+ϵ, where ϵ is a random error with mean 0 and variance σ2. Without any penalty, the OLS estimator ˆ θ is z. When a penalty is used, we solve argminθF(θ) where F(θ) = (θ−z)2+λ|θ|q for the Lq penalty and F(θ) = (θ−z)2+λ1|θ|+λ2θ2 for the elastic net. In Figure 1 (b), we plot the minimizer of F(θ) for the Lq with q = 0.1,1,2 and the elastic net. For the Lq, when q > 1, large (small) |θ|’s are more (less, respectively) shrunk toward 0 as q gets larger. When q = 1 (lasso), small |θ|’s become exactly zero and large coefficients are shrunk in the same amount of magnitude. When q < 1, small |θ|’s become exactly zero but large |θ|’s are close to z (Huang et al., 2008). For the elastic net, small |θ|’s become exactly zero but large coefficients are shrunk in the different amount of magnitude unlike the lasso

Results (Russian) 1:

На рисунке 1 (б), рассмотрим простую линейную регрессионную модель с одним параметром и & thetas одного наблюдения г = θ + ε, где ε является случайной ошибкой со средним значением 0 и дисперсией а2. Без какого-либо наказания, МНК-оценка θ является г. Когда штраф используется, мы решаем argminθF (θ), где F (θ) = (θ-г) 2 + λ | θ | ц для штрафа Lq и F (θ) = (θ-г) 2 + λ1 | & thetas | + λ2θ2 для упругой сетки. На рисунке 1 (б), мы построить минимизантый F (q) для Lq с д = 0.1,1,2 и эластичной сеткой. Для Lq, при д> 1, большие (малые) | θ | 's больше (меньше, соответственно) уменьшились по отношению к 0 при д становится больше. При д = 1 (Lasso), малая | & thetas; 'S становится точно нулем и большие коэффициенты сократились в том же количестве величины. При д <1, малый | & thetas; «S становится точно равна нулю, но большой | & thetas |» ы близки к г (Хуанг и др., 2008). Для упругой сетки,

Results (Russian) 2:

На рисунке 1 (b) мы рассматриваем простую линейную модель регрессии с одним параметром и одним наблюдением z и q, где это случайная ошибка со средним и отклонением No2. Без каких-либо штрафов, оценщик OLS q z. При использовании штрафа мы решаем, когда F (я) q (я) 2 -к. для штрафа Lq и F() На рисунке 1 (b) мы нарисуем минимизацию F (я) для Lq с q q 0.1,1,2 и эластичной сеткой. Для Lq, когда q q 1, большой (маленький) s больше (меньше, соответственно) уменьшилось к 0 по мере того как q получает большле. Когда q 1 (лассо), маленький s становятся ровно нулевыми, а большие коэффициенты сжидаются в одинаковом количестве величины. Когда q q 1, маленький q' s стать ровно нулевым, но большим s близки к z (Huang et al., 2008). Для эластичной сетки, небольшой s стать ровно нулевым, но большие коэффициенты сжаты в различном количестве величины в отличие от лассо

Results (Russian) 3:

на рис. 1 (b) мы думаем об одном параметре тета и одной наблюдательной величине z = тета + 1013′ простой линейной модели регрессии, в которой аддитивное значение 1 013 является случайным погрешностью от 0 до Сигмы 2.В отсутствие какого - либо наказания, оценочная величина OLS была равна z. когда применено наказание, мы ищем решение argmin тета F (тета), где F (тета) 2 + Лямбда (124th), тэта 124q (для наказания lq) и F (тета) = (тета - z) 2 + Лямбда 1 12444тэ 1244тэ + тэта 2 (для эластичных сетей).На рисунке 1 (b) мы рисуем наименьшие значения q = 0. 1,1,2 lq и упругой сетки F (тета).для lq, когда q > 1, с увеличением q, большая (маленькая) тэта увеличивается (уменьшается) до 0 сжатия.когда q = 1 (комплект), малая алгебраическая чета 1244х4, отличавшаяся точностью до нуля, отличалась большим коэффициентом усадки в пределах одной и той же величины.когда q < 1, сяо тэта - 124дцата была равна нулю, а большая - 124дцау - близ z (Huang et al., 2008).для эластичной сетки, малая тэта 124г. Точная нулевая, но большой коэффициент усаживается в разных количествах, в отличие от веревки.