hierarchy of estimators interactive

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.11%22%0A%23%20dependencies%20%3D%20%5B%22marimo%3E%3D0.23.9%22%2C%20%22matplotlib%3D%3D3.10.8%22%2C%20%22numpy%3D%3D2.4.3%22%2C%20%22scipy%3D%3D1.17.1%22%5D%0A%23%20%0A%23%20%5Btool.marimo.export%5D%0A%23%20lock_kind%20%3D%20%22resolved%22%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.23.13%22%0Aapp%20%3D%20marimo.App()%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20from%20scipy.optimize%20import%20least_squares%0A%20%20%20%20from%20scipy.stats%20import%20multivariate_normal%0A%0A%20%20%20%20plt.style.use(%22default%22)%0A%0A%20%20%20%20C_DENSITY%20%3D%20%22%232563eb%22%20%20%20%23%20joint%20density%20(blue)%0A%20%20%20%20C_MEAN%20%3D%20%22%23111827%22%20%20%20%20%20%20%23%20conditional%20mean%20%2F%20MMSE%20(near%20black)%0A%20%20%20%20C_MODE%20%3D%20%22%23dc2626%22%20%20%20%20%20%20%23%20conditional%20mode%20%2F%20MAP%20(red)%0A%20%20%20%20C_POLY%20%3D%20%22%2316a34a%22%20%20%20%20%20%20%23%20polynomial%20%3D%20LMMSE%20in%20features%20(green)%0A%20%20%20%20C_LINEAR%20%3D%20%22%23f59e0b%22%20%20%20%20%23%20plain%20linear%20special%20case%20(amber)%0A%20%20%20%20C_NET%20%3D%20%22%230891b2%22%20%20%20%20%20%20%20%23%20nonlinear-in-parameters%20network%20(cyan)%0A%20%20%20%20C_SLICE%20%3D%20%22%237c3aed%22%20%20%20%20%20%23%20vertical%20slice%20line%20(purple)%0A%0A%20%20%20%20AXIS_X%20%3D%20(-6.0%2C%206.0)%0A%20%20%20%20AXIS_Y%20%3D%20(-6.0%2C%206.0)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20AXIS_X%2C%0A%20%20%20%20%20%20%20%20AXIS_Y%2C%0A%20%20%20%20%20%20%20%20C_DENSITY%2C%0A%20%20%20%20%20%20%20%20C_LINEAR%2C%0A%20%20%20%20%20%20%20%20C_MEAN%2C%0A%20%20%20%20%20%20%20%20C_MODE%2C%0A%20%20%20%20%20%20%20%20C_NET%2C%0A%20%20%20%20%20%20%20%20C_POLY%2C%0A%20%20%20%20%20%20%20%20C_SLICE%2C%0A%20%20%20%20%20%20%20%20least_squares%2C%0A%20%20%20%20%20%20%20%20mo%2C%0A%20%20%20%20%20%20%20%20multivariate_normal%2C%0A%20%20%20%20%20%20%20%20np%2C%0A%20%20%20%20%20%20%20%20plt%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20A%20Hierarchy%20of%20Estimators%0A%0A%20%20%20%20We%20observe%20an%20input%20%24X%24%20and%20want%20to%20estimate%20a%20desired%20output%20%24Y%24.%20Everything%20we%0A%20%20%20%20could%20know%20about%20that%20relationship%20lives%20in%20the%20**joint%20density**%20%24f_%7BXY%7D(x%2Cy)%24.%20Once%0A%20%20%20%20we%20fix%20an%20observation%20%24X%3Dx%24%2C%20the%20only%20relevant%20object%20is%20the%20**conditional%20density**%0A%0A%20%20%20%20%24%24%20f_%7BY%5Cmid%20X%7D(y%20%5Cmid%20x)%20%3D%20%5Cfrac%7Bf_%7BXY%7D(x%2Cy)%7D%7Bf_X(x)%7D%20.%20%24%24%0A%0A%20%20%20%20A%20*deterministic*%20estimator%20is%20a%20rule%20%24%5Cwidehat%20Y%20%3D%20g(X)%24%20that%20picks%20**one%0A%20%20%20%20representative%20value**%20out%20of%20that%20conditional%20slice.%20Which%20representative%20is%20%22best%22%0A%20%20%20%20depends%20on%20the%20loss%3A%0A%0A%20%20%20%20%24%24%0A%20%20%20%20%5Ctext%7Bsquared-error%20loss%7D%20%5C%3B%5CRightarrow%5C%3B%20%5Cwidehat%20Y_%7B%5Cmathrm%7BMMSE%7D%7D%3D%5Cmathbb%7BE%7D%5BY%5Cmid%20X%3Dx%5D%5Cquad(%5Ctext%7Bconditional%20%7D%5Ctextbf%7Bmean%7D)%2C%0A%20%20%20%20%24%24%0A%0A%20%20%20%20%24%24%0A%20%20%20%20%5Ctext%7Bhit-or-miss%20(MAP)%20loss%7D%20%5C%3B%5CRightarrow%5C%3B%20%5Cwidehat%20Y_%7B%5Cmathrm%7BMAP%7D%7D%3D%5Carg%5Cmax_y%5C%2C%20f_%7BY%5Cmid%20X%7D(y%5Cmid%20x)%5Cquad(%5Ctext%7Bconditional%20%7D%5Ctextbf%7Bmode%7D).%0A%20%20%20%20%24%24%0A%0A%20%20%20%20These%20two%20coincide%20for%20symmetric%20unimodal%20slices%20(e.g.%20Gaussian%20conditionals)%20but%0A%20%20%20%20**not%20in%20general**.%20The%20unrestricted%20optimum%20%24g(X)%24%20is%20any%20function%20at%20all%2C%20which%20is%0A%20%20%20%20usually%20too%20rich%20to%20estimate%2C%20so%20we%20restrict%20%24g%24%20to%20a%20parametric%20class%0A%20%20%20%20%24g(X%2C%5Cboldsymbol%5Cphi)%24.%20The%20decisive%20distinction%20among%20parametric%20models%20is%20**how%20the%0A%20%20%20%20parameters%20enter**%20%E2%80%94%20linearly%20(then%20the%20fit%20is%20one-shot%20LMMSE%2C%20*even%20for%20a%20curved%0A%20%20%20%20polynomial*)%20or%20nonlinearly%20(then%20the%20fit%20is%20iterative)%3A%0A%0A%20%20%20%20%24%24%0A%20%20%20%20%5Cunderbrace%7Bg(X)%7D_%7B%5Ctext%7Barbitrary%7D%7D%0A%20%20%20%20%5C%3B%5Clongrightarrow%5C%3B%0A%20%20%20%20%5Cunderbrace%7Bc%2B%5Ctextstyle%5Csum_j%20v_j%5Ctanh(w_jX%2Bb_j)%7D_%7B%5Ctext%7Bnonlinear%20in%20%7D%5Cboldsymbol%5Cphi%7D%0A%20%20%20%20%5C%3B%5Clongrightarrow%5C%3B%0A%20%20%20%20%5Cunderbrace%7B%5Cboldsymbol%5Cphi%5E%5Ctop%5Cboldsymbol%5Cpsi(X)%7D_%7B%5Ctext%7Blinear%20in%20%7D%5Cboldsymbol%5Cphi%5C%20(%5Ctext%7BLMMSE%7D)%7D%0A%20%20%20%20%5C%3B%5Clongrightarrow%5C%3B%0A%20%20%20%20%5Cunderbrace%7BaX%2Bb%7D_%7B%5Ctext%7Bplain%20line%7D%7D.%0A%20%20%20%20%24%24%0A%0A%20%20%20%20To%20make%20the%20difference%20visible%20we%20let%20the%20joint%20law%20be%20a%20**three-component%20Gaussian%0A%20%20%20%20mixture**%2C%20%24f_%7BXY%7D(x%2Cy)%3D%5Csum_%7Bk%3D1%7D%5E%7B3%7D%5Cpi_k%5C%2C%5Cmathcal%7BN%7D%5C!%5Cbig(%5Bx%2Cy%5D%3B%5C%2C%5Cboldsymbol%7B%5Cmu%7D_k%2C%5Cboldsymbol%7B%5CSigma%7D_k%5Cbig)%24.%0A%20%20%20%20For%20a%20mixture%20the%20conditional%20density%2C%20its%20mean%20and%20its%20mode%20are%20all%20available%20in%20closed%0A%20%20%20%20form%2C%20and%20we%20fit%20each%20parametric%20model%20to%20the%20**population**%20risk%20directly%20(no%20sampling%0A%20%20%20%20noise).%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(multivariate_normal%2C%20np)%3A%0A%20%20%20%20def%20g1d(x%2C%20m%2C%20s)%3A%0A%20%20%20%20%20%20%20%20%22%22%221-D%20Gaussian%20density%2C%20broadcasts%20over%20arrays.%22%22%22%0A%20%20%20%20%20%20%20%20return%20np.exp(-0.5%20*%20((x%20-%20m)%20%2F%20s)%20**%202)%20%2F%20(s%20*%20np.sqrt(2.0%20*%20np.pi))%0A%0A%20%20%20%20def%20responsibilities(x%2C%20pi%2C%20mx%2C%20sx)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Per-component%20weight%20w_k(x)%20of%20the%20x-marginal.%20Returns%20(K%2C%20len(x)).%22%22%22%0A%20%20%20%20%20%20%20%20comp%20%3D%20np.stack(%5Bpi%5Bk%5D%20*%20g1d(x%2C%20mx%5Bk%5D%2C%20sx%5Bk%5D)%20for%20k%20in%20range(len(pi))%5D%2C%20axis%3D0)%0A%20%20%20%20%20%20%20%20px%20%3D%20comp.sum(axis%3D0)%0A%20%20%20%20%20%20%20%20return%20comp%20%2F%20px%2C%20px%0A%0A%20%20%20%20def%20marginal_x(x%2C%20pi%2C%20mx%2C%20sx)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Marginal%20density%20f_X(x)%20of%20the%20mixture.%22%22%22%0A%20%20%20%20%20%20%20%20return%20np.sum(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5Bpi%5Bk%5D%20*%20g1d(x%2C%20mx%5Bk%5D%2C%20sx%5Bk%5D)%20for%20k%20in%20range(len(pi))%5D%2C%20axis%3D0%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20def%20cond_mean_curve(x%2C%20pi%2C%20mx%2C%20my%2C%20sx%2C%20sy%2C%20rho)%3A%0A%20%20%20%20%20%20%20%20%22%22%22E%5BY%20%7C%20X%3Dx%5D%20in%20closed%20form%20for%20the%20mixture.%22%22%22%0A%20%20%20%20%20%20%20%20w%2C%20_%20%3D%20responsibilities(x%2C%20pi%2C%20mx%2C%20sx)%0A%20%20%20%20%20%20%20%20mu%20%3D%20np.stack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5Bmy%5Bk%5D%20%2B%20rho%5Bk%5D%20*%20sy%5Bk%5D%20%2F%20sx%5Bk%5D%20*%20(x%20-%20mx%5Bk%5D)%20for%20k%20in%20range(len(pi))%5D%2C%20axis%3D0%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20return%20(w%20*%20mu).sum(axis%3D0)%0A%0A%20%20%20%20def%20cond_density_grid(x%2C%20y%2C%20pi%2C%20mx%2C%20my%2C%20sx%2C%20sy%2C%20rho)%3A%0A%20%20%20%20%20%20%20%20%22%22%22p(y%20%7C%20x)%20on%20a%20grid.%20x%3A(Nx%2C)%2C%20y%3A(Ny%2C)%20-%3E%20P%3A(Nx%2C%20Ny).%22%22%22%0A%20%20%20%20%20%20%20%20w%2C%20_%20%3D%20responsibilities(x%2C%20pi%2C%20mx%2C%20sx)%0A%20%20%20%20%20%20%20%20P%20%3D%20np.zeros((len(x)%2C%20len(y)))%0A%20%20%20%20%20%20%20%20for%20k%20in%20range(len(pi))%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20mu%20%3D%20my%5Bk%5D%20%2B%20rho%5Bk%5D%20*%20sy%5Bk%5D%20%2F%20sx%5Bk%5D%20*%20(x%20-%20mx%5Bk%5D)%20%20%20%20%20%20%23%20(Nx%2C)%0A%20%20%20%20%20%20%20%20%20%20%20%20sig%20%3D%20sy%5Bk%5D%20*%20np.sqrt(1.0%20-%20rho%5Bk%5D%20**%202)%0A%20%20%20%20%20%20%20%20%20%20%20%20P%20%2B%3D%20w%5Bk%5D%5B%3A%2C%20None%5D%20*%20g1d(y%5BNone%2C%20%3A%5D%2C%20mu%5B%3A%2C%20None%5D%2C%20sig)%20%20%23%20(Nx%2C%20Ny)%0A%20%20%20%20%20%20%20%20return%20P%0A%0A%20%20%20%20def%20cond_mode_curve(x%2C%20y%2C%20pi%2C%20mx%2C%20my%2C%20sx%2C%20sy%2C%20rho)%3A%0A%20%20%20%20%20%20%20%20%22%22%22argmax_y%20p(y%20%7C%20x)%20by%20dense%20grid%20search.%22%22%22%0A%20%20%20%20%20%20%20%20P%20%3D%20cond_density_grid(x%2C%20y%2C%20pi%2C%20mx%2C%20my%2C%20sx%2C%20sy%2C%20rho)%0A%20%20%20%20%20%20%20%20return%20y%5Bnp.argmax(P%2C%20axis%3D1)%5D%0A%0A%20%20%20%20def%20joint_pdf(pos%2C%20pi%2C%20mx%2C%20my%2C%20sx%2C%20sy%2C%20rho)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Joint%20mixture%20density%20evaluated%20on%20a%20meshgrid%20stacked%20into%20%60pos%60.%22%22%22%0A%20%20%20%20%20%20%20%20Z%20%3D%20np.zeros(pos.shape%5B%3A-1%5D)%0A%20%20%20%20%20%20%20%20for%20k%20in%20range(len(pi))%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20c%20%3D%20rho%5Bk%5D%20*%20sx%5Bk%5D%20*%20sy%5Bk%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20cov%20%3D%20np.array(%5B%5Bsx%5Bk%5D%20**%202%2C%20c%5D%2C%20%5Bc%2C%20sy%5Bk%5D%20**%202%5D%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20Z%20%3D%20Z%20%2B%20pi%5Bk%5D%20*%20multivariate_normal(mean%3D%5Bmx%5Bk%5D%2C%20my%5Bk%5D%5D%2C%20cov%3Dcov).pdf(pos)%0A%20%20%20%20%20%20%20%20return%20Z%0A%0A%20%20%20%20def%20linear_moments(pi%2C%20mx%2C%20my%2C%20sx%2C%20sy%2C%20rho)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Population%20linear%20(LMMSE)%20coefficients%20a%2C%20b%20of%20the%20mixture.%22%22%22%0A%20%20%20%20%20%20%20%20pi%20%3D%20np.asarray(pi)%0A%20%20%20%20%20%20%20%20mx%2C%20my%2C%20sx%2C%20sy%2C%20rho%20%3D%20map(np.asarray%2C%20(mx%2C%20my%2C%20sx%2C%20sy%2C%20rho))%0A%20%20%20%20%20%20%20%20EX%20%3D%20np.sum(pi%20*%20mx)%0A%20%20%20%20%20%20%20%20EY%20%3D%20np.sum(pi%20*%20my)%0A%20%20%20%20%20%20%20%20EX2%20%3D%20np.sum(pi%20*%20(sx%20**%202%20%2B%20mx%20**%202))%0A%20%20%20%20%20%20%20%20EXY%20%3D%20np.sum(pi%20*%20(rho%20*%20sx%20*%20sy%20%2B%20mx%20*%20my))%0A%20%20%20%20%20%20%20%20var_x%20%3D%20EX2%20-%20EX%20**%202%0A%20%20%20%20%20%20%20%20cov_xy%20%3D%20EXY%20-%20EX%20*%20EY%0A%20%20%20%20%20%20%20%20a%20%3D%20cov_xy%20%2F%20var_x%0A%20%20%20%20%20%20%20%20b%20%3D%20EY%20-%20a%20*%20EX%0A%20%20%20%20%20%20%20%20return%20a%2C%20b%0A%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20cond_density_grid%2C%0A%20%20%20%20%20%20%20%20cond_mean_curve%2C%0A%20%20%20%20%20%20%20%20cond_mode_curve%2C%0A%20%20%20%20%20%20%20%20joint_pdf%2C%0A%20%20%20%20%20%20%20%20linear_moments%2C%0A%20%20%20%20%20%20%20%20marginal_x%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%201.%20From%20the%20joint%20law%20to%20a%20single%20conditional%20slice%0A%0A%20%20%20%20Pick%20a%20joint%20distribution%20below%20%E2%80%94%20the%20choice%20controls%20**every**%20section.%20Then%20move%20the%0A%20%20%20%20slider%20to%20fix%20an%20observation%20%24X%3Dx_0%24.%20The%20right%20panel%20is%20the%20conditional%20density%0A%20%20%20%20%24f_%7BY%5Cmid%20X%7D(y%5Cmid%20x_0)%24%3A%20this%20is%20the%20full%20statistical%20answer.%20A%20point%20estimator%20must%0A%20%20%20%20collapse%20that%20whole%20curve%20into%20one%20number%2C%20and%20the%20two%20natural%20choices%20are%20its%0A%20%20%20%20**mean**%20(black)%20and%20its%20**mode**%20(red).%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20preset%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%5B%22S-curve%20(mostly%20unimodal)%22%2C%20%22Branching%20(bimodal)%22%2C%20%22Three%20blobs%22%5D%2C%0A%20%20%20%20%20%20%20%20value%3D%22S-curve%20(mostly%20unimodal)%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22joint%20distribution%20p(x%2Cy)%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(preset%2C)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20AXIS_X%2C%0A%20%20%20%20AXIS_Y%2C%0A%20%20%20%20cond_mean_curve%2C%0A%20%20%20%20cond_mode_curve%2C%0A%20%20%20%20joint_pdf%2C%0A%20%20%20%20linear_moments%2C%0A%20%20%20%20marginal_x%2C%0A%20%20%20%20np%2C%0A%20%20%20%20preset%2C%0A)%3A%0A%20%20%20%20if%20preset.value%20%3D%3D%20%22S-curve%20(mostly%20unimodal)%22%3A%0A%20%20%20%20%20%20%20%20gpi%20%3D%20np.array(%5B0.34%2C%200.33%2C%200.33%5D)%0A%20%20%20%20%20%20%20%20gmx%20%3D%20np.array(%5B-2.6%2C%200.0%2C%202.6%5D)%0A%20%20%20%20%20%20%20%20gmy%20%3D%20np.array(%5B-2.6%2C%200.2%2C%202.6%5D)%0A%20%20%20%20%20%20%20%20gsx%20%3D%20np.array(%5B1.0%2C%201.1%2C%201.0%5D)%0A%20%20%20%20%20%20%20%20gsy%20%3D%20np.array(%5B0.7%2C%200.7%2C%200.7%5D)%0A%20%20%20%20%20%20%20%20grho%20%3D%20np.array(%5B0.80%2C%20-0.50%2C%200.80%5D)%0A%20%20%20%20elif%20preset.value%20%3D%3D%20%22Branching%20(bimodal)%22%3A%0A%20%20%20%20%20%20%20%20gpi%20%3D%20np.array(%5B0.40%2C%200.30%2C%200.30%5D)%0A%20%20%20%20%20%20%20%20gmx%20%3D%20np.array(%5B-2.4%2C%200.6%2C%200.6%5D)%0A%20%20%20%20%20%20%20%20gmy%20%3D%20np.array(%5B-1.6%2C%202.3%2C%20-1.9%5D)%0A%20%20%20%20%20%20%20%20gsx%20%3D%20np.array(%5B1.1%2C%201.2%2C%201.2%5D)%0A%20%20%20%20%20%20%20%20gsy%20%3D%20np.array(%5B0.8%2C%200.7%2C%200.7%5D)%0A%20%20%20%20%20%20%20%20grho%20%3D%20np.array(%5B0.60%2C%20-0.20%2C%200.20%5D)%0A%20%20%20%20else%3A%20%20%23%20Three%20blobs%0A%20%20%20%20%20%20%20%20gpi%20%3D%20np.array(%5B0.33%2C%200.34%2C%200.33%5D)%0A%20%20%20%20%20%20%20%20gmx%20%3D%20np.array(%5B-2.7%2C%200.0%2C%202.7%5D)%0A%20%20%20%20%20%20%20%20gmy%20%3D%20np.array(%5B2.0%2C%20-2.2%2C%202.0%5D)%0A%20%20%20%20%20%20%20%20gsx%20%3D%20np.array(%5B0.9%2C%200.9%2C%200.9%5D)%0A%20%20%20%20%20%20%20%20gsy%20%3D%20np.array(%5B0.8%2C%200.8%2C%200.8%5D)%0A%20%20%20%20%20%20%20%20grho%20%3D%20np.array(%5B0.30%2C%20-0.30%2C%200.30%5D)%0A%0A%20%20%20%20xgrid%20%3D%20np.linspace(*AXIS_X%2C%20260)%0A%20%20%20%20ygrid%20%3D%20np.linspace(*AXIS_Y%2C%20320)%0A%20%20%20%20XX%2C%20YY%20%3D%20np.meshgrid(xgrid%2C%20ygrid)%0A%20%20%20%20Zjoint%20%3D%20joint_pdf(np.dstack((XX%2C%20YY))%2C%20gpi%2C%20gmx%2C%20gmy%2C%20gsx%2C%20gsy%2C%20grho)%0A%0A%20%20%20%20cmean_curve%20%3D%20cond_mean_curve(xgrid%2C%20gpi%2C%20gmx%2C%20gmy%2C%20gsx%2C%20gsy%2C%20grho)%0A%20%20%20%20cmode_curve%20%3D%20cond_mode_curve(xgrid%2C%20ygrid%2C%20gpi%2C%20gmx%2C%20gmy%2C%20gsx%2C%20gsy%2C%20grho)%0A%20%20%20%20a_lin%2C%20b_lin%20%3D%20linear_moments(gpi%2C%20gmx%2C%20gmy%2C%20gsx%2C%20gsy%2C%20grho)%0A%0A%20%20%20%20%23%20f_X%20weights%20turn%20the%20population%20risk%20E%7B(Y-g)%5E2%7D%20into%20an%20f_X-weighted%20error%0A%20%20%20%20%23%20against%20the%20conditional%20mean%20(tower%20property)%2C%20so%20both%20fits%20below%20are%20exact%0A%20%20%20%20%23%20population%20fits%20with%20no%20sampling%20noise.%0A%20%20%20%20fx_grid%20%3D%20marginal_x(xgrid%2C%20gpi%2C%20gmx%2C%20gsx)%0A%20%20%20%20w_grid%20%3D%20fx_grid%20%2F%20fx_grid.sum()%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20XX%2C%0A%20%20%20%20%20%20%20%20YY%2C%0A%20%20%20%20%20%20%20%20Zjoint%2C%0A%20%20%20%20%20%20%20%20a_lin%2C%0A%20%20%20%20%20%20%20%20b_lin%2C%0A%20%20%20%20%20%20%20%20cmean_curve%2C%0A%20%20%20%20%20%20%20%20cmode_curve%2C%0A%20%20%20%20%20%20%20%20gmx%2C%0A%20%20%20%20%20%20%20%20gmy%2C%0A%20%20%20%20%20%20%20%20gpi%2C%0A%20%20%20%20%20%20%20%20grho%2C%0A%20%20%20%20%20%20%20%20gsx%2C%0A%20%20%20%20%20%20%20%20gsy%2C%0A%20%20%20%20%20%20%20%20w_grid%2C%0A%20%20%20%20%20%20%20%20xgrid%2C%0A%20%20%20%20%20%20%20%20ygrid%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(AXIS_X%2C%20mo)%3A%0A%20%20%20%20x0%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3DAXIS_X%5B0%5D%20%2B%200.5%2C%0A%20%20%20%20%20%20%20%20stop%3DAXIS_X%5B1%5D%20-%200.5%2C%0A%20%20%20%20%20%20%20%20step%3D0.1%2C%0A%20%20%20%20%20%20%20%20value%3D0.6%2C%0A%20%20%20%20%20%20%20%20label%3D%22observation%20x_0%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(x0%2C)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20AXIS_X%2C%0A%20%20%20%20AXIS_Y%2C%0A%20%20%20%20C_DENSITY%2C%0A%20%20%20%20C_MEAN%2C%0A%20%20%20%20C_MODE%2C%0A%20%20%20%20C_SLICE%2C%0A%20%20%20%20XX%2C%0A%20%20%20%20YY%2C%0A%20%20%20%20Zjoint%2C%0A%20%20%20%20cond_density_grid%2C%0A%20%20%20%20gmx%2C%0A%20%20%20%20gmy%2C%0A%20%20%20%20gpi%2C%0A%20%20%20%20grho%2C%0A%20%20%20%20gsx%2C%0A%20%20%20%20gsy%2C%0A%20%20%20%20np%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20x0%2C%0A%20%20%20%20ygrid%2C%0A)%3A%0A%20%20%20%20_x0%20%3D%20float(x0.value)%0A%0A%20%20%20%20_slice%20%3D%20cond_density_grid(%0A%20%20%20%20%20%20%20%20np.array(%5B_x0%5D)%2C%20ygrid%2C%20gpi%2C%20gmx%2C%20gmy%2C%20gsx%2C%20gsy%2C%20grho%0A%20%20%20%20)%5B0%5D%0A%20%20%20%20_mean_val%20%3D%20float(np.sum(_slice%20*%20ygrid)%20%2F%20np.sum(_slice))%0A%20%20%20%20_mode_val%20%3D%20float(ygrid%5Bnp.argmax(_slice)%5D)%0A%0A%20%20%20%20fig_slice%2C%20(_axL%2C%20_axR)%20%3D%20plt.subplots(%0A%20%20%20%20%20%20%20%201%2C%202%2C%20figsize%3D(12.4%2C%205.6)%2C%20sharey%3DTrue%2C%0A%20%20%20%20%20%20%20%20gridspec_kw%3D%7B%22width_ratios%22%3A%20%5B2.0%2C%201.0%5D%7D%2C%0A%20%20%20%20)%0A%0A%20%20%20%20_axL.contourf(XX%2C%20YY%2C%20Zjoint%2C%20levels%3D26%2C%20cmap%3D%22Blues%22%2C%20alpha%3D0.85)%0A%20%20%20%20_axL.axvline(_x0%2C%20color%3DC_SLICE%2C%20lw%3D2.2%2C%20label%3Dr%22observation%20%24x_0%24%22)%0A%20%20%20%20_axL.scatter(%5B_x0%5D%2C%20%5B_mean_val%5D%2C%20s%3D90%2C%20color%3DC_MEAN%2C%20edgecolor%3D%22white%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20linewidth%3D0.8%2C%20zorder%3D6%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3Dr%22%24%5Cwidehat%7BY%7D_%7B%5Cmathrm%7BMMSE%7D%7D%3DE%5BY%5Cmid%20x_0%5D%24%22)%0A%20%20%20%20_axL.scatter(%5B_x0%5D%2C%20%5B_mode_val%5D%2C%20s%3D90%2C%20color%3DC_MODE%2C%20marker%3D%22D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20edgecolor%3D%22white%22%2C%20linewidth%3D0.8%2C%20zorder%3D6%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3Dr%22%24%5Cwidehat%7BY%7D_%7B%5Cmathrm%7BMAP%7D%7D%3D%5Cmathrm%7Bmode%7D%24%22)%0A%20%20%20%20_axL.set_xlabel(%22x%22)%0A%20%20%20%20_axL.set_ylabel(%22y%22)%0A%20%20%20%20_axL.set_xlim(*AXIS_X)%0A%20%20%20%20_axL.set_ylim(*AXIS_Y)%0A%20%20%20%20_axL.set_title(r%22Joint%20density%20%24f_%7BXY%7D(x%2C%20y)%24%22%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20_axL.legend(loc%3D%22upper%20left%22%2C%20fontsize%3D8.5)%0A%20%20%20%20_axL.spines%5B%5B%22top%22%2C%20%22right%22%5D%5D.set_visible(False)%0A%0A%20%20%20%20_axR.plot(_slice%2C%20ygrid%2C%20color%3DC_DENSITY%2C%20lw%3D2.4)%0A%20%20%20%20_axR.fill_betweenx(ygrid%2C%200%2C%20_slice%2C%20color%3DC_DENSITY%2C%20alpha%3D0.18)%0A%20%20%20%20_axR.axhline(_mean_val%2C%20color%3DC_MEAN%2C%20lw%3D2.0%2C%20label%3D%22mean%22)%0A%20%20%20%20_axR.axhline(_mode_val%2C%20color%3DC_MODE%2C%20lw%3D2.0%2C%20ls%3D%22--%22%2C%20label%3D%22mode%22)%0A%20%20%20%20_axR.set_xlabel(r%22%24f_%7BY%5Cmid%20X%7D(y%5Cmid%20x_0)%24%22)%0A%20%20%20%20_axR.set_title(%22Conditional%20slice%22%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20_axR.set_xlim(left%3D0)%0A%20%20%20%20_axR.legend(loc%3D%22upper%20right%22%2C%20fontsize%3D8.5)%0A%20%20%20%20_axR.spines%5B%5B%22top%22%2C%20%22right%22%5D%5D.set_visible(False)%0A%0A%20%20%20%20fig_slice.tight_layout()%0A%0A%20%20%20%20slice_note%20%3D%20rf%22%22%22%0A%20%20%20%20At%20%24x_0%3D%7B_x0%3A.2f%7D%24%3A%20conditional%20**mean**%20%24E%5BY%5Cmid%20x_0%5D%3D%7B_mean_val%3A.2f%7D%24%2C%0A%20%20%20%20conditional%20**mode**%20%24%3D%7B_mode_val%3A.2f%7D%24.%20When%20the%20slice%20is%20unimodal%20and%20symmetric%20the%0A%20%20%20%20two%20agree%3B%20when%20it%20is%20skewed%20or%20bimodal%20they%20separate%2C%20and%20the%20mean%20can%20fall%20in%20a%0A%20%20%20%20low-density%20valley%20*between*%20the%20modes.%0A%20%20%20%20%22%22%22%0A%20%20%20%20return%20fig_slice%2C%20slice_note%0A%0A%0A%40app.cell%0Adef%20_(fig_slice%2C%20mo%2C%20preset%2C%20slice_note%2C%20x0)%3A%0A%20%20%20%20mo.vstack(%5Bpreset%2C%20x0%2C%20mo.mpl.interactive(fig_slice)%2C%20mo.md(slice_note)%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%202.%20The%20unrestricted%20optimum%3A%20conditional%20mean%20vs.%20conditional%20mode%0A%0A%20%20%20%20Sweep%20the%20slice%20across%20all%20%24x%24%20and%20the%20two%20representatives%20trace%20out%20two%20**full%0A%20%20%20%20estimators**.%20The%20conditional%20mean%20%24%5Cwidehat%20Y_%7B%5Cmathrm%7BMMSE%7D%7D%3D%5Cmathbb%7BE%7D%5BY%5Cmid%20X%3Dx%5D%24%0A%20%20%20%20(black)%20is%20the%20MMSE-optimal%20rule%20among%20*all*%20functions%20%24g%24%3B%20the%20conditional%20mode%0A%20%20%20%20%24%5Cwidehat%20Y_%7B%5Cmathrm%7BMAP%7D%7D%3D%5Carg%5Cmax_y%20f_%7BY%5Cmid%20X%7D(y%5Cmid%20x)%24%20(red)%20is%20the%20MAP%20rule.%20Both%20are%20generally%0A%20%20%20%20**nonlinear**%2C%20and%20on%20a%20multimodal%20mixture%20the%20mode%20can%20jump%20discontinuously%20between%0A%20%20%20%20branches%20while%20the%20mean%20varies%20smoothly.%20Neither%20is%20restricted%20to%20any%20model%20class%0A%20%20%20%20yet%20%E2%80%94%20they%20are%20the%20targets%20the%20parametric%20estimators%20below%20try%20to%20approximate.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20AXIS_X%2C%0A%20%20%20%20AXIS_Y%2C%0A%20%20%20%20C_MEAN%2C%0A%20%20%20%20C_MODE%2C%0A%20%20%20%20XX%2C%0A%20%20%20%20YY%2C%0A%20%20%20%20Zjoint%2C%0A%20%20%20%20cmean_curve%2C%0A%20%20%20%20cmode_curve%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20xgrid%2C%0A)%3A%0A%20%20%20%20fig_np%2C%20_ax%20%3D%20plt.subplots(figsize%3D(9.2%2C%206.4))%0A%20%20%20%20_ax.contourf(XX%2C%20YY%2C%20Zjoint%2C%20levels%3D26%2C%20cmap%3D%22Blues%22%2C%20alpha%3D0.85)%0A%20%20%20%20_ax.plot(xgrid%2C%20cmean_curve%2C%20color%3DC_MEAN%2C%20lw%3D3.0%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20label%3Dr%22%24%5Cwidehat%7BY%7D_%7B%5Cmathrm%7BMMSE%7D%7D%3DE%5BY%5Cmid%20X%3Dx%5D%24%20%20(mean)%22)%0A%20%20%20%20_ax.plot(xgrid%2C%20cmode_curve%2C%20color%3DC_MODE%2C%20lw%3D2.6%2C%20ls%3D%22--%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20label%3Dr%22%24%5Cwidehat%7BY%7D_%7B%5Cmathrm%7BMAP%7D%7D%3D%5Carg%5Cmax_y%20f_%7BY%5Cmid%20X%7D(y%5Cmid%20x)%24%20%20(mode)%22)%0A%20%20%20%20_ax.set_xlabel(%22x%22)%0A%20%20%20%20_ax.set_ylabel(%22y%22)%0A%20%20%20%20_ax.set_xlim(*AXIS_X)%0A%20%20%20%20_ax.set_ylim(*AXIS_Y)%0A%20%20%20%20_ax.set_title(%22Two%20unrestricted%20estimators%20on%20the%20same%20joint%20law%22%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20_ax.legend(loc%3D%22upper%20left%22%2C%20fontsize%3D9.5)%0A%20%20%20%20_ax.spines%5B%5B%22top%22%2C%20%22right%22%5D%5D.set_visible(False)%0A%20%20%20%20fig_np.tight_layout()%0A%20%20%20%20return%20(fig_np%2C)%0A%0A%0A%40app.cell%0Adef%20_(fig_np%2C%20mo)%3A%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.mpl.interactive(fig_np)%2C%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20The%20mean%20smooths%20across%20components%3B%20the%20mode%20commits%20to%20whichever%20branch%20is%0A%20%20%20%20%20%20%20%20%20%20%20%20locally%20densest.%20On%20the%20*Branching*%20and%20*Three%20blobs*%20presets%20watch%20the%20red%20curve%0A%20%20%20%20%20%20%20%20%20%20%20%20snap%20between%20branches%20exactly%20where%20two%20components%20trade%20dominance%20%E2%80%94%20the%20same%20%24x%24%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20two%20very%20different%20%22best%22%20answers%2C%20depending%20on%20the%20loss.%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%203.%20Nonlinear%20*in%20the%20parameters*%3A%20a%20small%20sigmoid%20network%0A%0A%20%20%20%20We%20start%20with%20the%20**most%20flexible**%20parametric%20model%20and%20tighten%20from%20there.%20Let%20the%0A%20%20%20%20parameters%20enter%20**through%20a%20nonlinearity**%3A%20a%20single%20hidden%20layer%20of%20%24H%24%20sigmoid%0A%20%20%20%20(here%20%24%5Ctanh%24)%20units%2C%0A%0A%20%20%20%20%24%24%20g(X%2C%5Cboldsymbol%5Cphi)%3Dc%2B%5Csum_%7Bj%3D1%7D%5E%7BH%7D%20v_j%5C%2C%5Ctanh(w_j%20X%2Bb_j)%2C%0A%20%20%20%20%20%20%20%5Cqquad%20%5Cboldsymbol%5Cphi%3D%5C%7Bc%2C%5C%2Cv_j%2C%5C%2Cw_j%2C%5C%2Cb_j%5C%7D_%7Bj%3D1%7D%5E%7BH%7D.%20%24%24%0A%0A%20%20%20%20The%20output%20weights%20%24v_j%24%20and%20bias%20%24c%24%20are%20linear%2C%20but%20the%20inner%20slopes%20%24w_j%24%20and%0A%20%20%20%20locations%20%24b_j%24%20sit%20**inside**%20the%20%24%5Ctanh%24%2C%20so%20%24g%24%20is%20**nonlinear%20in%20%24%5Cboldsymbol%5Cphi%24**.%0A%20%20%20%20There%20is%20no%20normal-equation%20solution%3A%20minimizing%0A%20%20%20%20%24J(%5Cboldsymbol%5Cphi)%3D%5Cmathbb%7BE%7D%5C%7B(Y-g(X%2C%5Cboldsymbol%5Cphi))%5E2%5C%7D%24%20is%20a%20*nonconvex*%20least-squares%0A%20%20%20%20problem%20solved%20**iteratively**%20(Gauss%E2%80%93Newton%20%2F%20Levenberg%E2%80%93Marquardt).%20It%20stays%20cheap%20here%20%E2%80%94%0A%20%20%20%20only%20%243H%2B1%24%20parameters%20with%20an%20analytic%20Jacobian%20%E2%80%94%20and%20a%20few%20units%20already%20track%20the%0A%20%20%20%20conditional%20mean%2C%20each%20placing%20one%20soft%20step%20where%20the%20curve%20bends.%20(A%20couple%20of%20random%0A%20%20%20%20restarts%20guard%20against%20poor%20local%20minima.)%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20units%20%3D%20mo.ui.slider(start%3D1%2C%20stop%3D8%2C%20step%3D1%2C%20value%3D4%2C%20label%3D%22hidden%20units%20H%22)%0A%20%20%20%20return%20(units%2C)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20AXIS_X%2C%0A%20%20%20%20AXIS_Y%2C%0A%20%20%20%20C_MEAN%2C%0A%20%20%20%20C_NET%2C%0A%20%20%20%20XX%2C%0A%20%20%20%20YY%2C%0A%20%20%20%20Zjoint%2C%0A%20%20%20%20cmean_curve%2C%0A%20%20%20%20least_squares%2C%0A%20%20%20%20np%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20units%2C%0A%20%20%20%20w_grid%2C%0A%20%20%20%20xgrid%2C%0A)%3A%0A%20%20%20%20_H%20%3D%20int(units.value)%0A%20%20%20%20_sw%20%3D%20np.sqrt(w_grid)%0A%20%20%20%20_target%20%3D%20cmean_curve%0A%0A%20%20%20%20def%20_unpack(phi%2C%20H)%3A%0A%20%20%20%20%20%20%20%20return%20phi%5B0%5D%2C%20phi%5B1%3A1%20%2B%20H%5D%2C%20phi%5B1%20%2B%20H%3A1%20%2B%202%20*%20H%5D%2C%20phi%5B1%20%2B%202%20*%20H%3A1%20%2B%203%20*%20H%5D%0A%0A%20%20%20%20def%20_predict(phi%2C%20x%2C%20H)%3A%0A%20%20%20%20%20%20%20%20c%2C%20v%2C%20w%2C%20b%20%3D%20_unpack(phi%2C%20H)%0A%20%20%20%20%20%20%20%20z%20%3D%20np.tanh(w%5BNone%2C%20%3A%5D%20*%20x%5B%3A%2C%20None%5D%20%2B%20b%5BNone%2C%20%3A%5D)%20%20%20%23%20(Nx%2C%20H)%0A%20%20%20%20%20%20%20%20return%20c%20%2B%20z%20%40%20v%2C%20z%2C%20v%0A%0A%20%20%20%20def%20_resid(phi%2C%20x%2C%20target%2C%20sw%2C%20H)%3A%0A%20%20%20%20%20%20%20%20pred%2C%20_%2C%20_%20%3D%20_predict(phi%2C%20x%2C%20H)%0A%20%20%20%20%20%20%20%20return%20sw%20*%20(pred%20-%20target)%0A%0A%20%20%20%20def%20_jac(phi%2C%20x%2C%20target%2C%20sw%2C%20H)%3A%0A%20%20%20%20%20%20%20%20pred%2C%20z%2C%20v%20%3D%20_predict(phi%2C%20x%2C%20H)%0A%20%20%20%20%20%20%20%20jac%20%3D%20np.empty((x.shape%5B0%5D%2C%201%20%2B%203%20*%20H))%0A%20%20%20%20%20%20%20%20jac%5B%3A%2C%200%5D%20%3D%201.0%0A%20%20%20%20%20%20%20%20jac%5B%3A%2C%201%3A1%20%2B%20H%5D%20%3D%20z%0A%20%20%20%20%20%20%20%20_dz%20%3D%201.0%20-%20z%20**%202%0A%20%20%20%20%20%20%20%20jac%5B%3A%2C%201%20%2B%20H%3A1%20%2B%202%20*%20H%5D%20%3D%20_dz%20*%20v%5BNone%2C%20%3A%5D%20*%20x%5B%3A%2C%20None%5D%0A%20%20%20%20%20%20%20%20jac%5B%3A%2C%201%20%2B%202%20*%20H%3A1%20%2B%203%20*%20H%5D%20%3D%20_dz%20*%20v%5BNone%2C%20%3A%5D%0A%20%20%20%20%20%20%20%20return%20sw%5B%3A%2C%20None%5D%20*%20jac%0A%0A%20%20%20%20%23%20Nonconvex%3A%20a%20few%20random%20restarts%2C%20keep%20the%20lowest-cost%20fit.%0A%20%20%20%20_best%20%3D%20None%0A%20%20%20%20for%20_s%20in%20range(3)%3A%0A%20%20%20%20%20%20%20%20_rng%20%3D%20np.random.default_rng(_s)%0A%20%20%20%20%20%20%20%20_centers%20%3D%20np.linspace(AXIS_X%5B0%5D%20%2B%201.0%2C%20AXIS_X%5B1%5D%20-%201.0%2C%20_H)%0A%20%20%20%20%20%20%20%20_w0%20%3D%20_rng.uniform(0.6%2C%201.6%2C%20_H)%20*%20_rng.choice(%5B-1.0%2C%201.0%5D%2C%20_H)%0A%20%20%20%20%20%20%20%20_b0%20%3D%20-_w0%20*%20_centers%0A%20%20%20%20%20%20%20%20_v0%20%3D%20_rng.normal(0.0%2C%200.5%2C%20_H)%0A%20%20%20%20%20%20%20%20_c0%20%3D%20float(np.average(_target%2C%20weights%3Dw_grid))%0A%20%20%20%20%20%20%20%20_phi0%20%3D%20np.concatenate(%5B%5B_c0%5D%2C%20_v0%2C%20_w0%2C%20_b0%5D)%0A%20%20%20%20%20%20%20%20_res%20%3D%20least_squares(%0A%20%20%20%20%20%20%20%20%20%20%20%20_resid%2C%20_phi0%2C%20jac%3D_jac%2C%20args%3D(xgrid%2C%20_target%2C%20_sw%2C%20_H)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20method%3D%22trf%22%2C%20max_nfev%3D300%2C%20ftol%3D1e-6%2C%20xtol%3D1e-6%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20if%20_best%20is%20None%20or%20_res.cost%20%3C%20_best.cost%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_best%20%3D%20_res%0A%0A%20%20%20%20_yfit%2C%20_%2C%20_%20%3D%20_predict(_best.x%2C%20xgrid%2C%20_H)%0A%20%20%20%20_exc_net%20%3D%20float(np.sum(w_grid%20*%20(cmean_curve%20-%20_yfit)%20**%202))%0A%20%20%20%20_n_par%20%3D%201%20%2B%203%20*%20_H%0A%0A%20%20%20%20fig_net%2C%20_ax%20%3D%20plt.subplots(figsize%3D(9.2%2C%206.4))%0A%20%20%20%20_ax.contourf(XX%2C%20YY%2C%20Zjoint%2C%20levels%3D26%2C%20cmap%3D%22Blues%22%2C%20alpha%3D0.85)%0A%20%20%20%20_ax.plot(xgrid%2C%20cmean_curve%2C%20color%3DC_MEAN%2C%20lw%3D3.0%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20label%3Dr%22unrestricted%20MMSE%20%24E%5BY%5Cmid%20X%5D%24%22)%0A%20%20%20%20_ax.plot(xgrid%2C%20_yfit%2C%20color%3DC_NET%2C%20lw%3D3.0%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20label%3Drf%22tanh%20network%2C%20H%20%3D%20%7B_H%7D%20(%7B_n_par%7D%20params)%22)%0A%20%20%20%20_ax.set_xlabel(%22x%22)%0A%20%20%20%20_ax.set_ylabel(%22y%22)%0A%20%20%20%20_ax.set_xlim(*AXIS_X)%0A%20%20%20%20_ax.set_ylim(*AXIS_Y)%0A%20%20%20%20_ax.set_title(%22Nonlinear-in-parameters%20fit%20(iterative%20least%20squares)%22%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20_ax.legend(loc%3D%22upper%20left%22%2C%20fontsize%3D9.0)%0A%20%20%20%20_ax.spines%5B%5B%22top%22%2C%20%22right%22%5D%5D.set_visible(False)%0A%20%20%20%20fig_net.tight_layout()%0A%0A%20%20%20%20net_note%20%3D%20rf%22%22%22%0A%20%20%20%20Iterative%20fit%2C%20%243H%2B1%3D%7B_n_par%7D%24%20parameters.%20Excess%20population%20risk%0A%20%20%20%20%24%5Cint%20f_X%20(m-g)%5E2%5C%2Cdx%24%3A%20**%7B_exc_net%3A.3f%7D**.%20With%20only%20a%20few%20%24%5Ctanh%24%20units%20it%20already%0A%20%20%20%20tracks%20the%20conditional%20mean%3B%20the%20polynomial%20below%20needs%20a%20high%20degree%20%E2%80%94%20and%20a%20badly%0A%20%20%20%20conditioned%20normal%20matrix%20%E2%80%94%20to%20match%20it.%20The%20price%20here%20is%20a%20nonconvex%20search%20instead%20of%0A%20%20%20%20a%20one-shot%20linear%20solve.%0A%20%20%20%20%22%22%22%0A%20%20%20%20return%20fig_net%2C%20net_note%0A%0A%0A%40app.cell%0Adef%20_(fig_net%2C%20mo%2C%20net_note%2C%20units)%3A%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20units%2C%0A%20%20%20%20%20%20%20%20mo.mpl.interactive(fig_net)%2C%0A%20%20%20%20%20%20%20%20mo.md(net_note)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%204.%20Linear%20*in%20the%20parameters*%3A%20polynomial%20regression%20is%20just%20LMMSE%0A%0A%20%20%20%20Now%20impose%20more%20structure%3A%20make%20%24g%24%20a%20**linear%20combination%20of%20fixed%20features**%0A%20%20%20%20%24%5Cboldsymbol%5Cpsi(X)%3D%5B%5Cpsi_0(X)%2C%5Cdots%2C%5Cpsi_p(X)%5D%5E%5Ctop%24%3A%0A%0A%20%20%20%20%24%24%20g(X%2C%5Cboldsymbol%5Cphi)%3D%5Cboldsymbol%5Cphi%5E%5Ctop%5Cboldsymbol%5Cpsi(X)%0A%20%20%20%20%20%20%20%3D%5Cphi_0%5Cpsi_0(X)%2B%5Cdots%2B%5Cphi_p%5Cpsi_p(X).%20%24%24%0A%0A%20%20%20%20The%20**polynomial%20regressor**%20is%20exactly%20this%20with%20the%20monomial%20features%0A%20%20%20%20%24%5Cboldsymbol%5Cpsi(X)%3D%5B1%2CX%2CX%5E2%2C%5Cdots%2CX%5Ep%5D%5E%5Ctop%24%3A%0A%0A%20%20%20%20%24%24%20g(X%2C%5Cboldsymbol%5Cphi)%3D%5Cphi_0%2B%5Cphi_1%20X%2B%5Cphi_2%20X%5E2%2B%5Cdots%2B%5Cphi_p%20X%5Ep.%20%24%24%0A%0A%20%20%20%20Although%20this%20curve%20is%20nonlinear%20in%20%24X%24%2C%20it%20is%20**linear%20in%20the%20parameters%0A%20%20%20%20%24%5Cboldsymbol%5Cphi%24**.%20Minimizing%20the%20population%20risk%0A%20%20%20%20%24J(%5Cboldsymbol%5Cphi)%3D%5Cmathbb%7BE%7D%5C%7B(Y-%5Cboldsymbol%5Cphi%5E%5Ctop%5Cboldsymbol%5Cpsi(X))%5E2%5C%7D%24%20is%20therefore%0A%20%20%20%20the%20**LMMSE%20%2F%20Wiener%20problem%20in%20the%20feature%20space**%2C%20with%20the%20closed-form%20normal%20equations%0A%0A%20%20%20%20%24%24%20%5Cwidehat%7B%5Cboldsymbol%5Cphi%7D_%7B%5Cmathrm%7BMMSE%7D%7D%3D%5Cmathbf%20R_%7B%5Cpsi%5Cpsi%7D%5E%7B-1%7D%5C%2C%5Cmathbf%20r_%7B%5Cpsi%20Y%7D%2C%0A%20%20%20%20%20%20%20%5Cqquad%0A%20%20%20%20%20%20%20%5Cmathbf%20R_%7B%5Cpsi%5Cpsi%7D%3D%5Cmathbb%7BE%7D%5B%5Cboldsymbol%5Cpsi(X)%5Cboldsymbol%5Cpsi(X)%5E%5Ctop%5D%2C%5C%3B%5C%3B%0A%20%20%20%20%20%20%20%5Cmathbf%20r_%7B%5Cpsi%20Y%7D%3D%5Cmathbb%7BE%7D%5B%5Cboldsymbol%5Cpsi(X)%5C%2CY%5D.%20%24%24%0A%0A%20%20%20%20So%20a%20polynomial%20fit%20is%20**not**%20a%20step%20beyond%20linear%20estimation%20%E2%80%94%20it%20*is*%20linear%0A%20%20%20%20estimation%2C%20just%20with%20a%20richer%20feature%20map.%20The%20plain%20straight%20line%20is%20the%20special%20case%0A%20%20%20%20%24p%3D1%24%2C%20%24%5Cboldsymbol%5Cpsi(X)%3D%5B1%2CX%5D%5E%5Ctop%24%2C%20giving%20%24a_%7B%5Cmathrm%7BMMSE%7D%7D%3DC_%7BXY%7D%2F%5Csigma_X%5E2%24%2C%0A%20%20%20%20%24b_%7B%5Cmathrm%7BMMSE%7D%7D%3Dm_Y-a_%7B%5Cmathrm%7BMMSE%7D%7Dm_X%24%20(amber).%20Raising%20the%20degree%20(slider)%20adds%0A%20%20%20%20features%20and%20bends%20the%20fit%20toward%20the%20conditional%20mean%20%E2%80%94%20but%20%24%5Cmathbf%20R_%7B%5Cpsi%5Cpsi%7D%24%2C%20a%0A%20%20%20%20moment%2FVandermonde-type%20matrix%2C%20becomes%20badly%20conditioned%2C%20the%20same%20ill-conditioning%20seen%0A%20%20%20%20in%20the%20Linear%20Regression%20notebook.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20degree%20%3D%20mo.ui.slider(start%3D1%2C%20stop%3D16%2C%20step%3D1%2C%20value%3D3%2C%20label%3D%22polynomial%20degree%20p%22)%0A%20%20%20%20return%20(degree%2C)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20AXIS_X%2C%0A%20%20%20%20AXIS_Y%2C%0A%20%20%20%20C_LINEAR%2C%0A%20%20%20%20C_MEAN%2C%0A%20%20%20%20C_POLY%2C%0A%20%20%20%20XX%2C%0A%20%20%20%20YY%2C%0A%20%20%20%20Zjoint%2C%0A%20%20%20%20a_lin%2C%0A%20%20%20%20b_lin%2C%0A%20%20%20%20cmean_curve%2C%0A%20%20%20%20degree%2C%0A%20%20%20%20np%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20w_grid%2C%0A%20%20%20%20xgrid%2C%0A)%3A%0A%20%20%20%20_deg%20%3D%20int(degree.value)%0A%0A%20%20%20%20%23%20Population%20LMMSE%20in%20the%20monomial%20features%3A%20minimize%20the%20f_X-weighted%20error%0A%20%20%20%20%23%20against%20the%20conditional%20mean.%20Polynomial.fit%20scales%20the%20domain%20internally%2C%20so%0A%20%20%20%20%23%20even%20high%20degrees%20stay%20numerically%20stable%3B%20the%20result%20is%20the%20closed-form%20solution.%0A%20%20%20%20_sw%20%3D%20np.sqrt(w_grid)%0A%20%20%20%20_poly%20%3D%20np.polynomial.Polynomial.fit(xgrid%2C%20cmean_curve%2C%20_deg%2C%20w%3D_sw)%0A%20%20%20%20_yfit%20%3D%20_poly(xgrid)%0A%20%20%20%20_ylin%20%3D%20a_lin%20*%20xgrid%20%2B%20b_lin%0A%0A%20%20%20%20%23%20Condition%20number%20of%20the%20raw%20normal%20matrix%20R_psi_psi%20%3D%20E%5Bpsi%20psi%5ET%5D.%0A%20%20%20%20_Psi%20%3D%20np.vander(xgrid%2C%20_deg%20%2B%201%2C%20increasing%3DTrue)%0A%20%20%20%20_Rpp%20%3D%20_Psi.T%20%40%20(w_grid%5B%3A%2C%20None%5D%20*%20_Psi)%0A%20%20%20%20_cond%20%3D%20float(np.linalg.cond(_Rpp))%0A%0A%20%20%20%20%23%20Excess%20population%20risk%20%3D%20f_X-weighted%20gap%20to%20the%20conditional%20mean.%0A%20%20%20%20_exc_poly%20%3D%20float(np.sum(w_grid%20*%20(cmean_curve%20-%20_yfit)%20**%202))%0A%20%20%20%20_exc_lin%20%3D%20float(np.sum(w_grid%20*%20(cmean_curve%20-%20_ylin)%20**%202))%0A%0A%20%20%20%20fig_param%2C%20_ax%20%3D%20plt.subplots(figsize%3D(9.2%2C%206.4))%0A%20%20%20%20_ax.contourf(XX%2C%20YY%2C%20Zjoint%2C%20levels%3D26%2C%20cmap%3D%22Blues%22%2C%20alpha%3D0.85)%0A%20%20%20%20_ax.plot(xgrid%2C%20cmean_curve%2C%20color%3DC_MEAN%2C%20lw%3D3.0%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20label%3Dr%22unrestricted%20MMSE%20%24E%5BY%5Cmid%20X%5D%24%22)%0A%20%20%20%20_ax.plot(xgrid%2C%20_ylin%2C%20color%3DC_LINEAR%2C%20lw%3D2.4%2C%20ls%3D%22--%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20label%3Dr%22plain%20linear%20%24%5Cwidehat%7BY%7D%3DaX%2Bb%24%20(%24p%3D1%24)%22)%0A%20%20%20%20_ax.plot(xgrid%2C%20_yfit%2C%20color%3DC_POLY%2C%20lw%3D3.0%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20label%3Drf%22polynomial%20LMMSE%2C%20p%20%3D%20%7B_deg%7D%22)%0A%20%20%20%20_ax.set_xlabel(%22x%22)%0A%20%20%20%20_ax.set_ylabel(%22y%22)%0A%20%20%20%20_ax.set_xlim(*AXIS_X)%0A%20%20%20%20_ax.set_ylim(*AXIS_Y)%0A%20%20%20%20_ax.set_title(%22Linear-in-parameters%20fit%20(closed-form%20LMMSE)%22%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20_ax.legend(loc%3D%22upper%20left%22%2C%20fontsize%3D9.0)%0A%20%20%20%20_ax.spines%5B%5B%22top%22%2C%20%22right%22%5D%5D.set_visible(False)%0A%20%20%20%20fig_param.tight_layout()%0A%0A%20%20%20%20param_note%20%3D%20rf%22%22%22%0A%20%20%20%20Closed-form%20LMMSE%2C%20no%20iteration.%20Excess%20population%20risk%20%24%5Cint%20f_X%20(m-g)%5E2%5C%2Cdx%24%20%E2%80%94%0A%20%20%20%20polynomial%20(%24p%3D%7B_deg%7D%24)%3A%20**%7B_exc_poly%3A.3f%7D**%3B%20plain%20linear%3A%20%7B_exc_lin%3A.3f%7D.%20Condition%0A%20%20%20%20number%20of%20the%20normal%20matrix%20%24%5Cmathbf%20R_%7B%7B%5Cpsi%5Cpsi%7D%7D%24%3A%20%7B_cond%3A.1e%7D.%20Raising%20the%20degree%0A%20%20%20%20shrinks%20the%20gap%20to%20the%20conditional%20mean%20but%20inflates%20the%20conditioning%20%E2%80%94%20the%20price%20of%0A%20%20%20%20forcing%20a%20global%20polynomial%20basis%20to%20bend%20locally.%0A%20%20%20%20%22%22%22%0A%20%20%20%20return%20fig_param%2C%20param_note%0A%0A%0A%40app.cell%0Adef%20_(degree%2C%20fig_param%2C%20mo%2C%20param_note)%3A%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20degree%2C%0A%20%20%20%20%20%20%20%20mo.mpl.interactive(fig_param)%2C%0A%20%20%20%20%20%20%20%20mo.md(param_note)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Summary%3A%20the%20progression%0A%0A%20%20%20%20%24%24%0A%20%20%20%20f_%7BXY%7D(x%2Cy)%5C%3B%5CRightarrow%5C%3Bf_%7BY%5Cmid%20X%7D(y%5Cmid%20x)%5C%3B%5CRightarrow%5C%3B%5Cwidehat%20Y%3Dg(X)%5C%3B%5CRightarrow%5C%3B%5Ctext%7Bchoose%20%7Dg%5Ctext%7B%20by%20a%20loss%7D%0A%20%20%20%20%24%24%0A%0A%20%20%20%20%7C%20level%20%7C%20object%20%7C%20how%20it%20is%20found%20%7C%0A%20%20%20%20%7C---%7C---%7C---%7C%0A%20%20%20%20%7C%20full%20problem%20%7C%20%24f_%7BY%5Cmid%20X%7D(y%5Cmid%20x)%24%20%7C%20the%20whole%20conditional%20density%20%7C%0A%20%20%20%20%7C%20MMSE%20(squared%20loss)%20%7C%20%24%5Cwidehat%20Y_%7B%5Cmathrm%7BMMSE%7D%7D%3D%5Cmathbb%7BE%7D%5BY%5Cmid%20X%3Dx%5D%24%20%7C%20conditional%20**mean**%20%E2%80%94%20nonlinear%2C%20unrestricted%20%7C%0A%20%20%20%20%7C%20MAP%20(hit-or-miss%20loss)%20%7C%20%24%5Cwidehat%20Y_%7B%5Cmathrm%7BMAP%7D%7D%3D%5Carg%5Cmax_y%20f_%7BY%5Cmid%20X%7D(y%5Cmid%20x)%24%20%7C%20conditional%20**mode**%20%E2%80%94%20nonlinear%2C%20unrestricted%20%7C%0A%20%20%20%20%7C%20nonlinear%20in%20%24%5Cboldsymbol%5Cphi%24%20%7C%20%24g(X%2C%5Cboldsymbol%5Cphi)%3Dc%2B%5Csum_j%20v_j%5Ctanh(w_jX%2Bb_j)%24%20%7C%20**iterative**%20nonconvex%20least%20squares%20%7C%0A%20%20%20%20%7C%20linear%20in%20%24%5Cboldsymbol%5Cphi%24%20%7C%20%24g(X%2C%5Cboldsymbol%5Cphi)%3D%5Cboldsymbol%5Cphi%5E%5Ctop%5Cboldsymbol%5Cpsi(X)%24%20(polynomial)%20%7C%20**closed-form%20LMMSE**%20%24%5Cboldsymbol%5Cphi%3D%5Cmathbf%20R_%7B%5Cpsi%5Cpsi%7D%5E%7B-1%7D%5Cmathbf%20r_%7B%5Cpsi%20Y%7D%24%20%7C%0A%20%20%20%20%7C%20%E2%80%94%20plain%20line%20%7C%20%24g(X%2C%5Cboldsymbol%5Cphi)%3DaX%2Bb%24%20%7C%20LMMSE%20with%20%24%5Cboldsymbol%5Cpsi(X)%3D%5B1%2CX%5D%5E%5Ctop%24%2C%20%24a%3DC_%7BXY%7D%2F%5Csigma_X%5E2%24%20%7C%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A