mle mean comparison interactive

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.11%22%0A%23%20dependencies%20%3D%20%5B%22marimo%3E%3D0.23.9%22%2C%20%22matplotlib%3D%3D3.10.8%22%2C%20%22numpy%3D%3D2.4.3%22%2C%20%22scipy%3D%3D1.17.1%22%5D%0A%23%20%0A%23%20%5Btool.marimo.export%5D%0A%23%20lock_kind%20%3D%20%22resolved%22%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.23.13%22%0Aapp%20%3D%20marimo.App()%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20from%20scipy.stats%20import%20norm%2C%20laplace%2C%20uniform%0A%0A%20%20%20%20plt.style.use(%22default%22)%0A%20%20%20%20return%20laplace%2C%20mo%2C%20norm%2C%20np%2C%20plt%0A%0A%0A%40app.cell%0Adef%20_(laplace%2C%20np)%3A%0A%20%20%20%20%22%22%22Helper%20functions%3A%20exact%2Fsemi-exact%20sampling%20distributions%20without%20MC.%22%22%22%0A%20%20%20%20from%20scipy.special%20import%20gammaln%0A%20%20%20%20from%20numpy.polynomial.legendre%20import%20leggauss%0A%0A%20%20%20%20def%20laplace_median_pdf(x_grid%2C%20N%2C%20m%2C%20b)%3A%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20Exact%20PDF%20of%20the%20sample%20median%20of%20N%20i.i.d.%20Laplace(m%2C%20b)%20observations.%0A%0A%20%20%20%20%20%20%20%20Odd%20N%3A%20single%20order-statistic%20formula%20(exact).%0A%20%20%20%20%20%20%20%20Even%20N%3A%20Gauss-Legendre%20quadrature%20over%20the%20joint%20density%20of%20the%20two%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20middle%20order%20statistics%20(deterministic%2C%20not%20MC).%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20if%20N%20%25%202%20%3D%3D%201%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20k%20%3D%20(N%20%2B%201)%20%2F%2F%202%20%20%23%20median%20is%20the%20k-th%20order%20statistic%20(1-indexed)%0A%20%20%20%20%20%20%20%20%20%20%20%20log_c%20%3D%20gammaln(N%20%2B%201)%20-%20gammaln(k)%20-%20gammaln(N%20-%20k%20%2B%201)%0A%20%20%20%20%20%20%20%20%20%20%20%20coeff%20%3D%20np.exp(log_c)%0A%20%20%20%20%20%20%20%20%20%20%20%20F%20%3D%20laplace.cdf(x_grid%2C%20loc%3Dm%2C%20scale%3Db)%0A%20%20%20%20%20%20%20%20%20%20%20%20f%20%3D%20laplace.pdf(x_grid%2C%20loc%3Dm%2C%20scale%3Db)%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20coeff%20*%20F%20**%20(k%20-%201)%20*%20(1%20-%20F)%20**%20(N%20-%20k)%20*%20f%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20median%20%3D%20(X_%7B(k)%7D%20%2B%20X_%7B(k%2B1)%7D)%20%2F%202%20with%20k%20%3D%20N%2F%2F2%0A%20%20%20%20%20%20%20%20%20%20%20%20k%20%3D%20N%20%2F%2F%202%0A%20%20%20%20%20%20%20%20%20%20%20%20log_c%20%3D%20gammaln(N%20%2B%201)%20-%202%20*%20gammaln(k)%20%20%23%20N!%20%2F%20((k-1)!)%5E2%0A%20%20%20%20%20%20%20%20%20%20%20%20coeff%20%3D%20np.exp(log_c)%0A%20%20%20%20%20%20%20%20%20%20%20%20y_ext%20%3D%2018.0%20*%20b%0A%20%20%20%20%20%20%20%20%20%20%20%20nodes%2C%20weights%20%3D%20leggauss(100)%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Vectorise%3A%20shape%20(len(x_grid)%2C%20100)%0A%20%20%20%20%20%20%20%20%20%20%20%20s%20%3D%20x_grid%5B%3A%2C%20None%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20y_t%20%3D%20s%20%2B%20(y_ext%20%2F%202)%20*%20(1%20%2B%20nodes%5BNone%2C%20%3A%5D)%20%20%23%20y%20in%20(s%2C%20s%2By_ext)%0A%20%20%20%20%20%20%20%20%20%20%20%20x_t%20%3D%202%20*%20s%20-%20y_t%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20x%20%3D%202s%20-%20y%20%3C%20y%0A%20%20%20%20%20%20%20%20%20%20%20%20Fx%20%3D%20laplace.cdf(x_t%2C%20loc%3Dm%2C%20scale%3Db)%0A%20%20%20%20%20%20%20%20%20%20%20%20Fy%20%3D%20laplace.cdf(y_t%2C%20loc%3Dm%2C%20scale%3Db)%0A%20%20%20%20%20%20%20%20%20%20%20%20fx%20%3D%20laplace.pdf(x_t%2C%20loc%3Dm%2C%20scale%3Db)%0A%20%20%20%20%20%20%20%20%20%20%20%20fy%20%3D%20laplace.pdf(y_t%2C%20loc%3Dm%2C%20scale%3Db)%0A%20%20%20%20%20%20%20%20%20%20%20%20integrand%20%3D%20Fx%20**%20(k%20-%201)%20*%20(1%20-%20Fy)%20**%20(k%20-%201)%20*%20fx%20*%20fy%0A%20%20%20%20%20%20%20%20%20%20%20%20return%202%20*%20coeff%20*%20(y_ext%20%2F%202)%20*%20(integrand%20%40%20weights)%0A%0A%20%20%20%20def%20uniform_midrange_pdf(x_grid%2C%20N%2C%20m%2C%20a)%3A%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20Exact%20closed-form%20PDF%20of%20the%20midrange%20(X_%7B(1)%7D%20%2B%20X_%7B(N)%7D)%20%2F%202%0A%20%20%20%20%20%20%20%20for%20N%20i.i.d.%20Uniform(m-a%2C%20m%2Ba)%20samples.%0A%0A%20%20%20%20%20%20%20%20f_M(s)%20%3D%20(N%20%2F%20(2a))%20*%20(1%20-%20%7Cs%20-%20m%7C%20%2F%20a)%5E%7BN-1%7D%20%20for%20%7Cs%20-%20m%7C%20%3C%20a%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20u%20%3D%20np.abs(x_grid%20-%20m)%20%2F%20a%0A%20%20%20%20%20%20%20%20return%20np.where(u%20%3C%201%2C%20(N%20%2F%20(2%20*%20a))%20*%20(1%20-%20u)%20**%20(N%20-%201)%2C%200.0)%0A%0A%20%20%20%20return%20laplace_median_pdf%2C%20uniform_midrange_pdf%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20MLE%20for%20the%20Mean%3A%20Gaussian%2C%20Uniform%2C%20and%20Laplacian%0A%0A%20%20%20%20Given%20%24N%24%20i.i.d.%20observations%20%24%5Cmathbf%7Bx%7D%20%3D%20(x_1%2C%20%5Cdots%2C%20x_N)%24%20from%20a%20distribution%0A%20%20%20%20with%20unknown%20location%20parameter%20%24m_X%24%20(the%20mean%2Fcentre)%2C%20the%20**Maximum%20Likelihood%0A%20%20%20%20Estimator**%20is%0A%0A%20%20%20%20%24%24%0A%20%20%20%20%5Cwidehat%7Bm%7D_%7BX%2C%5Cmathrm%7BML%7D%7D%0A%20%20%20%20%3D%20%5Coperatorname%7Bargmax%7D_%7Bm%7D%5C%3B%20%5Cmathcal%7BL%7D_%7B%5Cmathbf%7Bx%7D%7D(m)%2C%0A%20%20%20%20%5Cqquad%0A%20%20%20%20%5Cmathcal%7BL%7D_%7B%5Cmathbf%7Bx%7D%7D(m)%20%3D%20f_%7B%5Cmathbf%7BX%7D%5Cmid%20m%7D(%5Cmathbf%7Bx%7D%5Cmid%20m)%0A%20%20%20%20%3D%20%5Cprod_%7Bi%3D1%7D%5E%7BN%7D%20f_%7BX_i%5Cmid%20m%7D(x_i%5Cmid%20m).%0A%20%20%20%20%24%24%0A%0A%20%20%20%20Working%20with%20the%20**log-likelihood**%20%24%5Cell(m)%20%3D%20%5Clog%20%5Cmathcal%7BL%7D_%7B%5Cmathbf%7Bx%7D%7D(m)%0A%20%20%20%20%3D%20%5Csum_%7Bi%3D1%7D%5EN%20%5Clog%20f(x_i%20%5Cmid%20m)%24%20is%20equivalent%20and%20often%20easier.%0A%0A%20%20%20%20A%20natural%20competing%20estimator%20is%20the%20**arithmetic%20mean**%20(sample%20mean)%0A%0A%20%20%20%20%24%24%0A%20%20%20%20%5Cbar%7Bx%7D_N%20%3D%20%5Cfrac%7B1%7D%7BN%7D%5Csum_%7Bi%3D1%7D%5E%7BN%7D%20x_i%2C%0A%20%20%20%20%24%24%0A%0A%20%20%20%20which%20is%20unbiased%20and%20consistent%20for%20the%20mean%20of%20any%20distribution%20with%20finite%20variance.%0A%20%20%20%20Whether%20%24%5Cbar%7Bx%7D_N%24%20*coincides*%20with%20the%20MLE%20%E2%80%94%20and%20how%20efficiently%20it%20estimates%20%24m_X%24%20%E2%80%94%0A%20%20%20%20depends%20on%20the%20noise%20model.%0A%0A%20%20%20%20The%20three%20distributions%20below%20give%20three%20qualitatively%20different%20answers%3A%0A%0A%20%20%20%20%7C%20Distribution%20%7C%20Log-likelihood%20shape%20%7C%20MLE%20for%20%24m_X%24%20%7C%20Arithmetic%20mean%20%7C%0A%20%20%20%20%7C---%7C---%7C---%7C---%7C%0A%20%20%20%20%7C%20Gaussian%20%24%5Cmathcal%7BN%7D(m_X%2C%5Csigma_X%5E2)%24%20%7C%20Quadratic%20(smooth)%20%7C%20Sample%20mean%20%24%5Cbar%20x_N%24%20%7C%20**Same**%20as%20MLE%20%7C%0A%20%20%20%20%7C%20Laplacian%20%24%5Cmathrm%7BLap%7D(m_X%2Cb)%24%20%7C%20Piecewise%20linear%20%7C%20Sample%20**median**%20%7C%20Sub-optimal%20%7C%0A%20%20%20%20%7C%20Uniform%20%24%5Cmathcal%7BU%7D(m_X%7B-%7Da%2C%5C%2C%20m_X%7B%2B%7Da)%24%20%7C%20Flat%20on%20an%20interval%20%7C%20**Midrange**%20%24%5Cfrac%7Bx_%7B(N)%7D%2Bx_%7B(1)%7D%7D%7B2%7D%24%20%7C%20Sub-optimal%20%7C%0A%0A%20%20%20%20Each%20section%20shows%20two%20panels%20on%20a%20**fixed%20x-axis**%20(set%20by%20the%20true%20parameters%2C%0A%20%20%20%20not%20the%20current%20estimate)%3A%20the%20**left**%20panel%20is%20the%20*likelihood%20curve*%20for%20the%0A%20%20%20%20single%20realisation%20you%20drew%2C%20and%20the%20**right**%20panel%20is%20the%20theoretical%20*sampling%0A%20%20%20%20distribution*%20of%20the%20estimator%20(where%20it%20lands%20across%20repeated%20experiments%2C%0A%20%20%20%20computed%20analytically).%20%20As%20%24N%24%20grows%2C%20both%20curves%20narrow%20on%20the%20same%20axis.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%201%20Gaussian%20noise%20%E2%80%94%20MLE%20%3D%20arithmetic%20mean%0A%0A%20%20%20%20For%20%24X_i%20%5Csim%20%5Cmathcal%7BN%7D(m_X%2C%20%5Csigma_X%5E2)%24%20the%20log-likelihood%20is%0A%0A%20%20%20%20%24%24%0A%20%20%20%20%5Cell(m)%20%3D%20-%5Cfrac%7BN%7D%7B2%7D%5Clog(2%5Cpi%5Csigma_X%5E2)%20-%20%5Cfrac%7B1%7D%7B2%5Csigma_X%5E2%7D%5Csum_%7Bi%3D1%7D%5E%7BN%7D(x_i%20-%20m)%5E2.%0A%20%20%20%20%24%24%0A%0A%20%20%20%20Setting%20%24%5Cpartial%20%5Cell%20%2F%20%5Cpartial%20m%20%3D%200%24%20gives%0A%0A%20%20%20%20%24%24%0A%20%20%20%20%5Cboxed%7B%5Cwidehat%7Bm%7D_%7BX%2C%5Cmathrm%7BML%7D%7D%20%3D%20%5Cfrac%7B1%7D%7BN%7D%5Csum_%7Bi%3D1%7D%5E%7BN%7D%20x_i%20%3D%20%5Cbar%7Bx%7D_N.%7D%0A%20%20%20%20%24%24%0A%0A%20%20%20%20The%20MLE%20**is**%20the%20arithmetic%20mean.%20%20The%20sampling%20distribution%20is%20**exact**%3A%0A%20%20%20%20%24%5Cwidehat%7Bm%7D_%7BX%2C%5Cmathrm%7BML%7D%7D%20%5Csim%20%5Cmathcal%7BN%7D(m_X%2C%5C%2C%20%5Csigma_X%5E2%2FN)%24.%0A%20%20%20%20The%20Cram%C3%A9r%E2%80%93Rao%20bound%20%24%5Coperatorname%7BVar%7D(%5Chat%7Bm%7D)%20%5Cgeq%20%5Csigma_X%5E2%2FN%24%20is%0A%20%20%20%20achieved%20%E2%80%94%20the%20sample%20mean%20is%20the%20**efficient**%20estimator%20for%20Gaussian%20data.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20N_g%20%3D%20mo.ui.slider(start%3D2%2C%20stop%3D300%2C%20step%3D1%2C%20value%3D20%2C%20label%3D%22N%20(sample%20size)%22)%0A%20%20%20%20sig_g%20%3D%20mo.ui.slider(start%3D0.3%2C%20stop%3D5.0%2C%20step%3D0.1%2C%20value%3D1.5%2C%20label%3D%22%CF%83%20(true%20std)%22)%0A%20%20%20%20m_g%20%3D%20mo.ui.slider(start%3D-4.0%2C%20stop%3D4.0%2C%20step%3D0.1%2C%20value%3D1.0%2C%20label%3D%22m%E2%82%93%20(true%20mean)%22)%0A%20%20%20%20seed_g%20%3D%20mo.ui.slider(start%3D0%2C%20stop%3D99%2C%20step%3D1%2C%20value%3D7%2C%20label%3D%22seed%22)%0A%20%20%20%20return%20N_g%2C%20m_g%2C%20seed_g%2C%20sig_g%0A%0A%0A%40app.cell%0Adef%20_(N_g%2C%20m_g%2C%20np%2C%20seed_g%2C%20sig_g)%3A%0A%20%20%20%20_rng%20%3D%20np.random.default_rng(int(seed_g.value))%0A%20%20%20%20x_g%20%3D%20m_g.value%20%2B%20sig_g.value%20*%20_rng.standard_normal(int(N_g.value))%0A%20%20%20%20mle_g%20%3D%20float(np.mean(x_g))%0A%20%20%20%20return%20mle_g%2C%20x_g%0A%0A%0A%40app.cell%0Adef%20_(m_g%2C%20mle_g%2C%20norm%2C%20np%2C%20plt%2C%20sig_g%2C%20x_g)%3A%0A%20%20%20%20_N%20%3D%20len(x_g)%0A%20%20%20%20_se%20%3D%20sig_g.value%20%2F%20np.sqrt(_N)%0A%0A%20%20%20%20%23%20fixed%20x-axis%3A%20based%20on%20true%20parameters%2C%20constant%20as%20N%20changes%0A%20%20%20%20_half%20%3D%20max(4%20*%20sig_g.value%2C%201.0)%0A%20%20%20%20_xlim_g%20%3D%20(m_g.value%20-%20_half%2C%20m_g.value%20%2B%20_half)%0A%20%20%20%20_m_grid%20%3D%20np.linspace(_xlim_g%5B0%5D%2C%20_xlim_g%5B1%5D%2C%20600)%0A%0A%20%20%20%20%23%20likelihood%20on%20fixed%20grid%0A%20%20%20%20_ll%20%3D%20(-_N%20%2F%202%20*%20np.log(2%20*%20np.pi%20*%20sig_g.value%20**%202)%0A%20%20%20%20%20%20%20%20%20%20%20-%20np.array(%5Bnp.sum((x_g%20-%20_m)%20**%202)%20for%20_m%20in%20_m_grid%5D)%20%2F%20(2%20*%20sig_g.value%20**%202))%0A%20%20%20%20_rel%20%3D%20np.exp(_ll%20-%20_ll.max())%0A%0A%20%20%20%20%23%20sampling%20distribution%20on%20same%20grid%0A%20%20%20%20_pdf_mle%20%3D%20norm.pdf(_m_grid%2C%20m_g.value%2C%20_se)%0A%0A%20%20%20%20fig_g%2C%20(ax_gL%2C%20ax_gR)%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(13%2C%204.5))%0A%0A%20%20%20%20%23%20Left%3A%20likelihood%20%2B%20data%20rug%0A%20%20%20%20ax_gL.plot(_m_grid%2C%20_rel%2C%20color%3D%22%231f77b4%22%2C%20lw%3D2.5)%0A%20%20%20%20ax_gL.fill_between(_m_grid%2C%20_rel%2C%20alpha%3D0.12%2C%20color%3D%22%231f77b4%22)%0A%20%20%20%20ax_gL.plot(x_g%2C%20np.full_like(x_g%2C%20-0.04)%2C%20%22%7C%22%2C%20color%3D%22black%22%2C%20ms%3D8%2C%20alpha%3D0.5%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22data%22)%0A%20%20%20%20ax_gL.axvline(mle_g%2C%20color%3D%22%23d62728%22%2C%20lw%3D2%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3Drf%22MLE%20%24%3D%20%5Cbar%20x_N%20%3D%20%7Bmle_g%3A.2f%7D%24%22)%0A%20%20%20%20ax_gL.axvline(m_g.value%2C%20color%3D%22green%22%2C%20ls%3D%22--%22%2C%20lw%3D1.4%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3Drf%22true%20%24m_X%20%3D%20%7Bm_g.value%3A.1f%7D%24%22)%0A%20%20%20%20ax_gL.axvspan(mle_g%20-%20_se%2C%20mle_g%20%2B%20_se%2C%20color%3D%22orange%22%2C%20alpha%3D0.18%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3Drf%22%24%5Cpm%5Csigma%2F%5Csqrt%7B%7BN%7D%7D%20%3D%20%5Cpm%7B_se%3A.2f%7D%24%22)%0A%20%20%20%20ax_gL.set_xlim(_xlim_g)%0A%20%20%20%20ax_gL.set_ylim(-0.1%2C%20None)%0A%20%20%20%20ax_gL.set_title(r%22Relative%20likelihood%20%24%5Cmathcal%7BL%7D(m)%2F%5Cmathcal%7BL%7D(%5Chat%20m)%24%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fontweight%3D%22bold%22)%0A%20%20%20%20ax_gL.set_xlabel(%22candidate%20mean%20%24m%24%22)%0A%20%20%20%20ax_gL.set_ylabel(%22relative%20likelihood%22)%0A%20%20%20%20ax_gL.legend(fontsize%3D9)%0A%20%20%20%20ax_gL.grid(alpha%3D0.3)%0A%20%20%20%20ax_gL.spines%5B%5B%22top%22%2C%20%22right%22%5D%5D.set_visible(False)%0A%0A%20%20%20%20%23%20Right%3A%20sampling%20distribution%0A%20%20%20%20ax_gR.plot(_m_grid%2C%20_pdf_mle%2C%20color%3D%22%23d62728%22%2C%20lw%3D2.5%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3Dr%22%24%5Cwidehat%7Bm%7D_%5Cmathrm%7BML%7D%20%5Csim%20%5Cmathcal%7BN%7D(m_X%2C%5C%2C%5Csigma%5E2%2FN)%24%20%20%5Bexact%5D%22)%0A%20%20%20%20ax_gR.fill_between(_m_grid%2C%20_pdf_mle%2C%20alpha%3D0.12%2C%20color%3D%22%23d62728%22)%0A%20%20%20%20ax_gR.axvline(mle_g%2C%20color%3D%22%23d62728%22%2C%20lw%3D2%2C%20ls%3D%22-.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3Drf%22this%20run%3A%20%24%5Chat%20m%20%3D%20%7Bmle_g%3A.2f%7D%24%22)%0A%20%20%20%20ax_gR.axvline(m_g.value%2C%20color%3D%22green%22%2C%20ls%3D%22--%22%2C%20lw%3D1.4%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3Drf%22true%20%24m_X%20%3D%20%7Bm_g.value%3A.1f%7D%24%22)%0A%20%20%20%20ax_gR.set_xlim(_xlim_g)%0A%20%20%20%20ax_gR.set_title(r%22Sampling%20distribution%20of%20%24%5Cwidehat%7Bm%7D_%7BX%2C%5Cmathrm%7BML%7D%7D%24%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fontweight%3D%22bold%22)%0A%20%20%20%20ax_gR.set_xlabel(r%22%24%5Chat%7Bm%7D%24%20%20(estimator%20value)%22)%0A%20%20%20%20ax_gR.set_ylabel(%22density%22)%0A%20%20%20%20ax_gR.legend(fontsize%3D9)%0A%20%20%20%20ax_gR.grid(alpha%3D0.3)%0A%20%20%20%20ax_gR.spines%5B%5B%22top%22%2C%20%22right%22%5D%5D.set_visible(False)%0A%20%20%20%20plt.tight_layout()%0A%20%20%20%20return%20(fig_g%2C)%0A%0A%0A%40app.cell%0Adef%20_(N_g%2C%20fig_g%2C%20m_g%2C%20mle_g%2C%20mo%2C%20np%2C%20seed_g%2C%20sig_g%2C%20x_g)%3A%0A%20%20%20%20_N%20%3D%20len(x_g)%0A%20%20%20%20_se%20%3D%20sig_g.value%20%2F%20np.sqrt(_N)%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.hstack(%5Bm_g%2C%20sig_g%5D)%2C%0A%20%20%20%20%20%20%20%20mo.hstack(%5BN_g%2C%20seed_g%5D)%2C%0A%20%20%20%20%20%20%20%20mo.mpl.interactive(fig_g)%2C%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20rf%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20**Result%20(%24N%3D%7B_N%7D%24)%3A**%0A%20%20%20%20%20%20%20%20%20%20%20%20MLE%20%24%3D%20%5Cbar%20x_N%20%3D%20%7Bmle_g%3A.3f%7D%24.%0A%20%20%20%20%20%20%20%20%20%20%20%20The%20sampling%20distribution%20is%20%24%5Cmathcal%7B%7BN%7D%7D(%7Bm_g.value%3A.1f%7D%2C%5C%3B%20%7Bsig_g.value%3A.1f%7D%5E2%2F%7B_N%7D)%24%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20so%20the%20standard%20error%20is%20%24%5Csigma%2F%5Csqrt%7B%7BN%7D%7D%20%3D%20%7B_se%3A.3f%7D%24.%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20The%20vertical%20dash-dot%20line%20shows%20where%20the%20**current**%20estimate%20fell%3B%20the%20bell%0A%20%20%20%20%20%20%20%20%20%20%20%20shows%20where%20estimates%20fall%20*across%20all%20possible%20datasets*%20of%20size%20%24N%24.%0A%20%20%20%20%20%20%20%20%20%20%20%20Both%20panels%20share%20the%20same%20x-axis%20%E2%80%94%20increase%20%24N%24%20to%20watch%20the%20likelihood%0A%20%20%20%20%20%20%20%20%20%20%20%20peak%20and%20sampling%20bell%20narrow%20together.%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%202%20Laplacian%20noise%20%E2%80%94%20MLE%20%3D%20sample%20median%0A%0A%20%20%20%20For%20%24X_i%20%5Csim%20%5Cmathrm%7BLap%7D(m_X%2C%20b)%24%20with%20PDF%0A%20%20%20%20%24f(x%5Cmid%20m)%20%3D%20%5Cfrac%7B1%7D%7B2b%7D%5Cexp%5C!%5Cbigl(-%5Ctfrac%7B%7Cx-m%7C%7D%7Bb%7D%5Cbigr)%24%2C%20the%20log-likelihood%20is%0A%0A%20%20%20%20%24%24%0A%20%20%20%20%5Cell(m)%20%3D%20-N%5Clog(2b)%20-%20%5Cfrac%7B1%7D%7Bb%7D%5Csum_%7Bi%3D1%7D%5E%7BN%7D%20%7Cx_i%20-%20m%7C.%0A%20%20%20%20%24%24%0A%0A%20%20%20%20Maximising%20is%20equivalent%20to%20minimising%20%24%5Csum_i%20%7Cx_i%20-%20m%7C%24%2C%20the%20%24%5Cell_1%24%20loss.%0A%20%20%20%20The%20well-known%20solution%20is%0A%0A%20%20%20%20%24%24%0A%20%20%20%20%5Cboxed%7B%5Cwidehat%7Bm%7D_%7BX%2C%5Cmathrm%7BML%7D%7D%20%3D%20%5Coperatorname%7Bmedian%7D(x_1%2C%5Cdots%2Cx_N).%7D%0A%20%20%20%20%24%24%0A%0A%20%20%20%20The%20log-likelihood%20is%20**piecewise%20linear**%20with%20kinks%20at%20each%20data%20point%20and%20a%0A%20%20%20%20peak%20at%20the%20median.%20%20Compared%20to%20the%20arithmetic%20mean%2C%20the%20median%20is%20more%20robust%3A%0A%20%20%20%20it%20is%20much%20less%20affected%20by%20the%20heavy%20tails%20of%20the%20Laplacian%20(and%20by%20outliers%20in%0A%20%20%20%20general).%0A%0A%20%20%20%20**Sampling%20distributions**%20(no%20MC)%3A%0A%20%20%20%20the%20median's%20exact%20distribution%20follows%20from%20the%20order-statistic%20formula%3B%20the%20mean's%0A%20%20%20%20distribution%20follows%20from%20the%20CLT%20with%20exact%20variance%20%24%5Coperatorname%7BVar%7D(X_i)%3D2b%5E2%24.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20N_l%20%3D%20mo.ui.slider(start%3D2%2C%20stop%3D300%2C%20step%3D1%2C%20value%3D20%2C%20label%3D%22N%20(sample%20size)%22)%0A%20%20%20%20b_l%20%3D%20mo.ui.slider(start%3D0.2%2C%20stop%3D5.0%2C%20step%3D0.1%2C%20value%3D1.0%2C%20label%3D%22b%20(scale%20%3D%20std%2F%E2%88%9A2)%22)%0A%20%20%20%20m_l%20%3D%20mo.ui.slider(start%3D-4.0%2C%20stop%3D4.0%2C%20step%3D0.1%2C%20value%3D1.0%2C%20label%3D%22m%E2%82%93%20(true%20mean)%22)%0A%20%20%20%20seed_l%20%3D%20mo.ui.slider(start%3D0%2C%20stop%3D99%2C%20step%3D1%2C%20value%3D3%2C%20label%3D%22seed%22)%0A%20%20%20%20return%20N_l%2C%20b_l%2C%20m_l%2C%20seed_l%0A%0A%0A%40app.cell%0Adef%20_(N_l%2C%20b_l%2C%20m_l%2C%20np%2C%20seed_l)%3A%0A%20%20%20%20_rng%20%3D%20np.random.default_rng(int(seed_l.value))%0A%20%20%20%20x_l%20%3D%20m_l.value%20%2B%20_rng.laplace(0%2C%20b_l.value%2C%20int(N_l.value))%0A%20%20%20%20mle_l%20%3D%20float(np.median(x_l))%0A%20%20%20%20mean_l%20%3D%20float(np.mean(x_l))%0A%20%20%20%20return%20mean_l%2C%20mle_l%2C%20x_l%0A%0A%0A%40app.cell%0Adef%20_(b_l%2C%20laplace_median_pdf%2C%20m_l%2C%20mean_l%2C%20mle_l%2C%20norm%2C%20np%2C%20plt%2C%20x_l)%3A%0A%20%20%20%20_N%20%3D%20len(x_l)%0A%20%20%20%20_b%20%3D%20b_l.value%0A%0A%20%20%20%20%23%20fixed%20x-axis%3A%20based%20on%20true%20parameters%2C%20constant%20as%20N%20changes%0A%20%20%20%20_half_l%20%3D%20max(5%20*%20_b%2C%201.0)%0A%20%20%20%20_xlim_l%20%3D%20(m_l.value%20-%20_half_l%2C%20m_l.value%20%2B%20_half_l)%0A%20%20%20%20_m_grid_l%20%3D%20np.linspace(_xlim_l%5B0%5D%2C%20_xlim_l%5B1%5D%2C%20600)%0A%0A%20%20%20%20%23%20likelihood%20on%20fixed%20grid%0A%20%20%20%20_ll_l%20%3D%20np.array(%5B-np.sum(np.abs(x_l%20-%20_m))%20for%20_m%20in%20_m_grid_l%5D)%20%2F%20_b%0A%20%20%20%20_rel_l%20%3D%20np.exp(_ll_l%20-%20_ll_l.max())%0A%0A%20%20%20%20%23%20sampling%20distributions%20on%20same%20grid%0A%20%20%20%20_se_mean%20%3D%20_b%20*%20np.sqrt(2%20%2F%20_N)%0A%20%20%20%20_pdf_med%20%3D%20laplace_median_pdf(_m_grid_l%2C%20_N%2C%20m_l.value%2C%20_b)%0A%20%20%20%20_pdf_mean%20%3D%20norm.pdf(_m_grid_l%2C%20m_l.value%2C%20_se_mean)%0A%0A%20%20%20%20fig_l%2C%20(ax_lL%2C%20ax_lR)%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(13%2C%204.5))%0A%0A%20%20%20%20%23%20Left%3A%20likelihood%20%2B%20data%20rug%0A%20%20%20%20ax_lL.plot(_m_grid_l%2C%20_rel_l%2C%20color%3D%22%231f77b4%22%2C%20lw%3D2.5)%0A%20%20%20%20ax_lL.fill_between(_m_grid_l%2C%20_rel_l%2C%20alpha%3D0.12%2C%20color%3D%22%231f77b4%22)%0A%20%20%20%20ax_lL.plot(x_l%2C%20np.full_like(x_l%2C%20-0.04)%2C%20%22%7C%22%2C%20color%3D%22black%22%2C%20ms%3D8%2C%20alpha%3D0.5%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22data%22)%0A%20%20%20%20ax_lL.axvline(mle_l%2C%20color%3D%22%23d62728%22%2C%20lw%3D2%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3Drf%22MLE%20(median)%20%24%3D%20%7Bmle_l%3A.2f%7D%24%22)%0A%20%20%20%20ax_lL.axvline(mean_l%2C%20color%3D%22purple%22%2C%20lw%3D2%2C%20ls%3D%22--%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3Drf%22arith.%20mean%20%24%3D%20%7Bmean_l%3A.2f%7D%24%22)%0A%20%20%20%20ax_lL.axvline(m_l.value%2C%20color%3D%22green%22%2C%20ls%3D%22--%22%2C%20lw%3D1.4%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3Drf%22true%20%24m_X%20%3D%20%7Bm_l.value%3A.1f%7D%24%22)%0A%20%20%20%20ax_lL.set_xlim(_xlim_l)%0A%20%20%20%20ax_lL.set_ylim(-0.1%2C%20None)%0A%20%20%20%20ax_lL.set_title(r%22Relative%20likelihood%20%24%5Cmathcal%7BL%7D(m)%2F%5Cmathcal%7BL%7D(%5Chat%20m)%24%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fontweight%3D%22bold%22)%0A%20%20%20%20ax_lL.set_xlabel(%22candidate%20mean%20%24m%24%22)%0A%20%20%20%20ax_lL.set_ylabel(%22relative%20likelihood%22)%0A%20%20%20%20ax_lL.legend(fontsize%3D9)%0A%20%20%20%20ax_lL.grid(alpha%3D0.3)%0A%20%20%20%20ax_lL.spines%5B%5B%22top%22%2C%20%22right%22%5D%5D.set_visible(False)%0A%0A%20%20%20%20%23%20Right%3A%20sampling%20distributions%0A%20%20%20%20ax_lR.plot(_m_grid_l%2C%20_pdf_med%2C%20color%3D%22%23d62728%22%2C%20lw%3D2.5%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3Dr%22MLE%20(median)%20%E2%80%94%20exact%20order-stat.%20formula%22)%0A%20%20%20%20ax_lR.fill_between(_m_grid_l%2C%20_pdf_med%2C%20alpha%3D0.12%2C%20color%3D%22%23d62728%22)%0A%20%20%20%20ax_lR.plot(_m_grid_l%2C%20_pdf_mean%2C%20color%3D%22purple%22%2C%20lw%3D2%2C%20ls%3D%22--%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3Dr%22Arith.%20mean%20%E2%80%94%20CLT%3A%20%24%5Cmathcal%7BN%7D(m_X%2C%5C%2C2b%5E2%2FN)%24%22)%0A%20%20%20%20ax_lR.fill_between(_m_grid_l%2C%20_pdf_mean%2C%20alpha%3D0.08%2C%20color%3D%22purple%22)%0A%20%20%20%20ax_lR.axvline(mle_l%2C%20color%3D%22%23d62728%22%2C%20lw%3D1.5%2C%20ls%3D%22-.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3Drf%22this%20run%3A%20median%20%24%3D%20%7Bmle_l%3A.2f%7D%24%22)%0A%20%20%20%20ax_lR.axvline(mean_l%2C%20color%3D%22purple%22%2C%20lw%3D1.5%2C%20ls%3D%22%3A%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3Drf%22this%20run%3A%20mean%20%24%3D%20%7Bmean_l%3A.2f%7D%24%22)%0A%20%20%20%20ax_lR.axvline(m_l.value%2C%20color%3D%22green%22%2C%20ls%3D%22--%22%2C%20lw%3D1.4%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3Drf%22true%20%24m_X%20%3D%20%7Bm_l.value%3A.1f%7D%24%22)%0A%20%20%20%20ax_lR.set_xlim(_xlim_l)%0A%20%20%20%20ax_lR.set_title(%22Sampling%20distributions%20of%20estimators%22%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20ax_lR.set_xlabel(r%22%24%5Chat%7Bm%7D%24%20%20(estimator%20value)%22)%0A%20%20%20%20ax_lR.set_ylabel(%22density%22)%0A%20%20%20%20ax_lR.legend(fontsize%3D8.5)%0A%20%20%20%20ax_lR.grid(alpha%3D0.3)%0A%20%20%20%20ax_lR.spines%5B%5B%22top%22%2C%20%22right%22%5D%5D.set_visible(False)%0A%20%20%20%20plt.tight_layout()%0A%20%20%20%20return%20(fig_l%2C)%0A%0A%0A%40app.cell%0Adef%20_(N_l%2C%20b_l%2C%20fig_l%2C%20m_l%2C%20mean_l%2C%20mle_l%2C%20mo%2C%20np%2C%20seed_l%2C%20x_l)%3A%0A%20%20%20%20_N%20%3D%20len(x_l)%0A%20%20%20%20_b%20%3D%20b_l.value%0A%20%20%20%20_std_med%20%3D%20_b%20%2F%20np.sqrt(_N)%0A%20%20%20%20_std_mean%20%3D%20_b%20*%20np.sqrt(2%20%2F%20_N)%0A%20%20%20%20_ll_at_mle%20%3D%20-np.sum(np.abs(x_l%20-%20mle_l))%20%2F%20_b%0A%20%20%20%20_ll_at_mean%20%3D%20-np.sum(np.abs(x_l%20-%20mean_l))%20%2F%20_b%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.hstack(%5Bm_l%2C%20b_l%5D)%2C%0A%20%20%20%20%20%20%20%20mo.hstack(%5BN_l%2C%20seed_l%5D)%2C%0A%20%20%20%20%20%20%20%20mo.mpl.interactive(fig_l)%2C%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20rf%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20**Result%20(%24N%3D%7B_N%7D%24)%3A**%0A%20%20%20%20%20%20%20%20%20%20%20%20MLE%20(median)%20%24%3D%20%7Bmle_l%3A.3f%7D%24%2C%20%26nbsp%3B%20arithmetic%20mean%20%24%3D%20%7Bmean_l%3A.3f%7D%24.%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20Theoretical%20std%3A%20median%20%24%3D%20b%2F%5Csqrt%7B%7BN%7D%7D%20%3D%20%7B_std_med%3A.3f%7D%24%3B%20%26nbsp%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20mean%20%24%3D%20%5Csqrt%7B%7B2%7D%7Db%2F%5Csqrt%7B%7BN%7D%7D%20%3D%20%7B_std_mean%3A.3f%7D%24.%0A%20%20%20%20%20%20%20%20%20%20%20%20The%20median's%20bell%20is%20narrower%20by%20factor%20%241%2F%5Csqrt%7B%7B2%7D%7D%24%20%E2%80%94%20its%20asymptotic%20variance%0A%20%20%20%20%20%20%20%20%20%20%20%20is%20%24b%5E2%2FN%24%20vs.%20%242b%5E2%2FN%24%20for%20the%20mean%3B%20**the%20mean%20is%20twice%20as%20noisy**.%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20Log-likelihood%20gain%20of%20MLE%20over%20mean%3A%20%24%7B_ll_at_mle%20-%20_ll_at_mean%3A.2f%7D%24%20nats%0A%20%20%20%20%20%20%20%20%20%20%20%20(the%20median%20always%20reaches%20a%20higher%20likelihood%20on%20Laplacian%20data).%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%203%20Uniform%20noise%20%E2%80%94%20MLE%20%3D%20midrange%0A%0A%20%20%20%20For%20%24X_i%20%5Csim%20%5Cmathcal%7BU%7D(m_X%20-%20a%2C%5C%2C%20m_X%20%2B%20a)%24%20with%20PDF%0A%20%20%20%20%24f(x%5Cmid%20m)%20%3D%20%5Cfrac%7B1%7D%7B2a%7D%5Cmathbf%7B1%7D_%7B%5Bm-a%2C%5C%2Cm%2Ba%5D%7D(x)%24%0A%20%20%20%20(known%20half-width%20%24a%24)%2C%20every%20sample%20must%20satisfy%20%24m%20-%20a%20%5Cle%20x_i%20%5Cle%20m%20%2B%20a%24.%0A%20%20%20%20The%20likelihood%20is%0A%0A%20%20%20%20%24%24%0A%20%20%20%20%5Cmathcal%7BL%7D(m)%0A%20%20%20%20%3D%20%5Cfrac%7B1%7D%7B(2a)%5EN%7D%0A%20%20%20%20%20%20%5C%3B%5Cmathbf%7B1%7D%5C!%5Cleft%5Bm%20%5Cge%20x_%7B(N)%7D%20-%20a%5Cright%5D%0A%20%20%20%20%20%20%5C%3B%5Cmathbf%7B1%7D%5C!%5Cleft%5Bm%20%5Cle%20x_%7B(1)%7D%20%2B%20a%5Cright%5D%2C%0A%20%20%20%20%24%24%0A%0A%20%20%20%20where%20%24x_%7B(1)%7D%20%3D%20%5Cmin_i%20x_i%24%20and%20%24x_%7B(N)%7D%20%3D%20%5Cmax_i%20x_i%24.%0A%20%20%20%20The%20likelihood%20is%20**constant**%20(flat)%20over%20the%20feasible%20interval%0A%20%20%20%20%24%5Cbigl%5Bx_%7B(N)%7D%20-%20a%2C%5C%3B%20x_%7B(1)%7D%20%2B%20a%5Cbigr%5D%24%20and%20zero%20outside.%0A%20%20%20%20Every%20point%20in%20that%20interval%20is%20an%20ML%20maximiser%3B%20by%20convention%20the%0A%20%20%20%20**midpoint**%20is%20chosen%3A%0A%0A%20%20%20%20%24%24%0A%20%20%20%20%5Cboxed%7B%5Cwidehat%7Bm%7D_%7BX%2C%5Cmathrm%7BML%7D%7D%0A%20%20%20%20%3D%20%5Cfrac%7Bx_%7B(1)%7D%20%2B%20x_%7B(N)%7D%7D%7B2%7D%20%5Cquad%20%5Ctext%7B(midrange).%7D%7D%0A%20%20%20%20%24%24%0A%0A%20%20%20%20The%20midrange%20has%20the%20**exact**%20sampling%20distribution%0A%0A%20%20%20%20%24%24%0A%20%20%20%20f_%7B%5Chat%7Bm%7D%7D(s)%0A%20%20%20%20%3D%20%5Cfrac%7BN%7D%7B2a%7D%5C!%5Cleft(1%20-%20%5Cfrac%7B%7Cs-m_X%7C%7D%7Ba%7D%5Cright)%5E%7BN-1%7D%2C%20%5Cquad%20%7Cs-m_X%7C%20%3C%20a%2C%0A%20%20%20%20%24%24%0A%0A%20%20%20%20a%20symmetric%20tent%20that%20sharpens%20at%20rate%20%241%2FN%24%2C%20much%20faster%20than%20the%20%241%2F%5Csqrt%7BN%7D%24%0A%20%20%20%20rate%20of%20the%20arithmetic%20mean.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20N_u%20%3D%20mo.ui.slider(start%3D2%2C%20stop%3D300%2C%20step%3D1%2C%20value%3D20%2C%20label%3D%22N%20(sample%20size)%22)%0A%20%20%20%20a_u%20%3D%20mo.ui.slider(start%3D0.3%2C%20stop%3D5.0%2C%20step%3D0.1%2C%20value%3D2.0%2C%20label%3D%22a%20(half-width)%22)%0A%20%20%20%20m_u%20%3D%20mo.ui.slider(start%3D-4.0%2C%20stop%3D4.0%2C%20step%3D0.1%2C%20value%3D1.0%2C%20label%3D%22m%E2%82%93%20(true%20mean)%22)%0A%20%20%20%20seed_u%20%3D%20mo.ui.slider(start%3D0%2C%20stop%3D99%2C%20step%3D1%2C%20value%3D5%2C%20label%3D%22seed%22)%0A%20%20%20%20return%20N_u%2C%20a_u%2C%20m_u%2C%20seed_u%0A%0A%0A%40app.cell%0Adef%20_(N_u%2C%20a_u%2C%20m_u%2C%20np%2C%20seed_u)%3A%0A%20%20%20%20_rng%20%3D%20np.random.default_rng(int(seed_u.value))%0A%20%20%20%20x_u%20%3D%20m_u.value%20%2B%20_rng.uniform(-a_u.value%2C%20a_u.value%2C%20int(N_u.value))%0A%20%20%20%20xmin_u%20%3D%20float(np.min(x_u))%0A%20%20%20%20xmax_u%20%3D%20float(np.max(x_u))%0A%20%20%20%20mle_u%20%3D%20(xmin_u%20%2B%20xmax_u)%20%2F%202.0%0A%20%20%20%20mean_u%20%3D%20float(np.mean(x_u))%0A%20%20%20%20return%20mean_u%2C%20mle_u%2C%20x_u%2C%20xmax_u%2C%20xmin_u%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20a_u%2C%0A%20%20%20%20m_u%2C%0A%20%20%20%20mean_u%2C%0A%20%20%20%20mle_u%2C%0A%20%20%20%20norm%2C%0A%20%20%20%20np%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20uniform_midrange_pdf%2C%0A%20%20%20%20x_u%2C%0A%20%20%20%20xmax_u%2C%0A%20%20%20%20xmin_u%2C%0A)%3A%0A%20%20%20%20_N%20%3D%20len(x_u)%0A%20%20%20%20_a%20%3D%20a_u.value%0A%0A%20%20%20%20%23%20fixed%20x-axis%3A%20based%20on%20true%20parameters%2C%20constant%20as%20N%20changes%0A%20%20%20%20_xlim_u%20%3D%20(m_u.value%20-%201.25%20*%20_a%2C%20m_u.value%20%2B%201.25%20*%20_a)%0A%20%20%20%20_m_grid_u%20%3D%20np.linspace(_xlim_u%5B0%5D%2C%20_xlim_u%5B1%5D%2C%20600)%0A%0A%20%20%20%20%23%20likelihood%20(flat%20on%20feasible%20interval)%0A%20%20%20%20_m_lo%20%3D%20xmax_u%20-%20_a%0A%20%20%20%20_m_hi%20%3D%20xmin_u%20%2B%20_a%0A%20%20%20%20_lik%20%3D%20np.where((_m_grid_u%20%3E%3D%20_m_lo)%20%26%20(_m_grid_u%20%3C%3D%20_m_hi)%2C%201.0%2C%200.0)%0A%0A%20%20%20%20%23%20sampling%20distributions%20on%20same%20grid%0A%20%20%20%20_std_mean_u%20%3D%20_a%20%2F%20np.sqrt(3%20*%20_N)%0A%20%20%20%20_pdf_mid%20%3D%20uniform_midrange_pdf(_m_grid_u%2C%20_N%2C%20m_u.value%2C%20_a)%0A%20%20%20%20_pdf_mean_u%20%3D%20norm.pdf(_m_grid_u%2C%20m_u.value%2C%20_std_mean_u)%0A%0A%20%20%20%20fig_u%2C%20(ax_uL%2C%20ax_uR)%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(13%2C%204.5))%0A%0A%20%20%20%20%23%20Left%3A%20likelihood%20%2B%20data%20rug%0A%20%20%20%20ax_uL.fill_between(_m_grid_u%2C%20_lik%2C%20alpha%3D0.25%2C%20color%3D%22%231f77b4%22%2C%20label%3D%22feasible%20region%22)%0A%20%20%20%20ax_uL.plot(_m_grid_u%2C%20_lik%2C%20color%3D%22%231f77b4%22%2C%20lw%3D2.5)%0A%20%20%20%20ax_uL.plot(x_u%2C%20np.full_like(x_u%2C%20-0.04)%2C%20%22%7C%22%2C%20color%3D%22black%22%2C%20ms%3D8%2C%20alpha%3D0.5%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22data%22)%0A%20%20%20%20ax_uL.axvline(mle_u%2C%20color%3D%22%23d62728%22%2C%20lw%3D2%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3Drf%22MLE%20(midrange)%20%24%3D%20%7Bmle_u%3A.2f%7D%24%22)%0A%20%20%20%20ax_uL.axvline(mean_u%2C%20color%3D%22purple%22%2C%20lw%3D2%2C%20ls%3D%22--%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3Drf%22arith.%20mean%20%24%3D%20%7Bmean_u%3A.2f%7D%24%22)%0A%20%20%20%20ax_uL.axvline(m_u.value%2C%20color%3D%22green%22%2C%20ls%3D%22--%22%2C%20lw%3D1.4%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3Drf%22true%20%24m_X%20%3D%20%7Bm_u.value%3A.1f%7D%24%22)%0A%20%20%20%20ax_uL.set_xlim(_xlim_u)%0A%20%20%20%20ax_uL.set_ylim(-0.1%2C%201.4)%0A%20%20%20%20ax_uL.set_title(r%22Likelihood%20%24%5Cmathcal%7BL%7D(m)%24%20%20%5Bnormalised%20to%20max%20%3D%201%5D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fontweight%3D%22bold%22)%0A%20%20%20%20ax_uL.set_xlabel(%22candidate%20mean%20%24m%24%22)%0A%20%20%20%20ax_uL.set_ylabel(%22relative%20likelihood%22)%0A%20%20%20%20ax_uL.legend(fontsize%3D9)%0A%20%20%20%20ax_uL.grid(alpha%3D0.3)%0A%20%20%20%20ax_uL.spines%5B%5B%22top%22%2C%20%22right%22%5D%5D.set_visible(False)%0A%0A%20%20%20%20%23%20Right%3A%20sampling%20distributions%0A%20%20%20%20ax_uR.plot(_m_grid_u%2C%20_pdf_mid%2C%20color%3D%22%23d62728%22%2C%20lw%3D2.5%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3Dr%22MLE%20(midrange)%20%E2%80%94%20exact%20closed%20form%22)%0A%20%20%20%20ax_uR.fill_between(_m_grid_u%2C%20_pdf_mid%2C%20alpha%3D0.12%2C%20color%3D%22%23d62728%22)%0A%20%20%20%20ax_uR.plot(_m_grid_u%2C%20_pdf_mean_u%2C%20color%3D%22purple%22%2C%20lw%3D2%2C%20ls%3D%22--%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3Dr%22Arith.%20mean%20%E2%80%94%20CLT%3A%20%24%5Cmathcal%7BN%7D(m_X%2C%5C%2Ca%5E2%5C!%2F3N)%24%22)%0A%20%20%20%20ax_uR.fill_between(_m_grid_u%2C%20_pdf_mean_u%2C%20alpha%3D0.08%2C%20color%3D%22purple%22)%0A%20%20%20%20ax_uR.axvline(mle_u%2C%20color%3D%22%23d62728%22%2C%20lw%3D1.5%2C%20ls%3D%22-.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3Drf%22this%20run%3A%20midrange%20%24%3D%20%7Bmle_u%3A.2f%7D%24%22)%0A%20%20%20%20ax_uR.axvline(mean_u%2C%20color%3D%22purple%22%2C%20lw%3D1.5%2C%20ls%3D%22%3A%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3Drf%22this%20run%3A%20mean%20%24%3D%20%7Bmean_u%3A.2f%7D%24%22)%0A%20%20%20%20ax_uR.axvline(m_u.value%2C%20color%3D%22green%22%2C%20ls%3D%22--%22%2C%20lw%3D1.4%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3Drf%22true%20%24m_X%20%3D%20%7Bm_u.value%3A.1f%7D%24%22)%0A%20%20%20%20ax_uR.set_xlim(_xlim_u)%0A%20%20%20%20ax_uR.set_title(%22Sampling%20distributions%20of%20estimators%22%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20ax_uR.set_xlabel(r%22%24%5Chat%7Bm%7D%24%20%20(estimator%20value)%22)%0A%20%20%20%20ax_uR.set_ylabel(%22density%22)%0A%20%20%20%20ax_uR.legend(fontsize%3D8.5)%0A%20%20%20%20ax_uR.grid(alpha%3D0.3)%0A%20%20%20%20ax_uR.spines%5B%5B%22top%22%2C%20%22right%22%5D%5D.set_visible(False)%0A%20%20%20%20plt.tight_layout()%0A%20%20%20%20return%20(fig_u%2C)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20N_u%2C%0A%20%20%20%20a_u%2C%0A%20%20%20%20fig_u%2C%0A%20%20%20%20m_u%2C%0A%20%20%20%20mean_u%2C%0A%20%20%20%20mle_u%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20np%2C%0A%20%20%20%20seed_u%2C%0A%20%20%20%20x_u%2C%0A%20%20%20%20xmax_u%2C%0A%20%20%20%20xmin_u%2C%0A)%3A%0A%20%20%20%20_N%20%3D%20len(x_u)%0A%20%20%20%20_a%20%3D%20a_u.value%0A%20%20%20%20_feasible_width%20%3D%20max(0.0%2C%20(xmin_u%20%2B%20_a)%20-%20(xmax_u%20-%20_a))%0A%20%20%20%20_std_mid%20%3D%20_a%20*%20np.sqrt(2%20%2F%20((_N%20%2B%201)%20*%20(_N%20%2B%202)))%0A%20%20%20%20_std_mean_u%20%3D%20_a%20%2F%20np.sqrt(3%20*%20_N)%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.hstack(%5Bm_u%2C%20a_u%5D)%2C%0A%20%20%20%20%20%20%20%20mo.hstack(%5BN_u%2C%20seed_u%5D)%2C%0A%20%20%20%20%20%20%20%20mo.mpl.interactive(fig_u)%2C%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20rf%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20**Result%20(%24N%3D%7B_N%7D%24)%3A**%0A%20%20%20%20%20%20%20%20%20%20%20%20MLE%20(midrange)%20%24%3D%20(%7Bxmin_u%3A.2f%7D%20%2B%20%7Bxmax_u%3A.2f%7D)%2F2%20%3D%20%7Bmle_u%3A.3f%7D%24%3B%20%26nbsp%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20arithmetic%20mean%20%24%3D%20%7Bmean_u%3A.3f%7D%24.%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20Theoretical%20std%3A%20midrange%20%24%3D%20%7B_std_mid%3A.4f%7D%24%3B%20%26nbsp%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20mean%20%24%3D%20a%2F%5Csqrt%7B%7B3N%7D%7D%20%3D%20%7B_std_mean_u%3A.4f%7D%24.%0A%20%20%20%20%20%20%20%20%20%20%20%20The%20midrange%20tent%20is%20dramatically%20sharper%20%E2%80%94%20its%20std%20decays%20as%20%24%5Csim%20a%2F(N%2B1)%24%0A%20%20%20%20%20%20%20%20%20%20%20%20(rate%20%241%2FN%24)%20while%20the%20mean%20decays%20as%20%24a%2F%5Csqrt%7B%7B3N%7D%7D%24%20(rate%20%241%2F%5Csqrt%7B%7BN%7D%7D%24).%0A%20%20%20%20%20%20%20%20%20%20%20%20Feasible%20interval%20width%20%24%3D%20%7B_feasible_width%3A.4f%7D%24%20(also%20shrinks%20as%20%24%5Csim%202a%2FN%24).%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%204%20Estimator%20variance%20vs%20sample%20size%20%24N%24%0A%0A%20%20%20%20All%20variances%20below%20are%20exact%20%E2%80%94%20either%20closed-form%20or%20obtained%20by%20numerically%0A%20%20%20%20integrating%20the%20sampling%20distributions%20already%20computed%20above%20(no%20Monte%20Carlo).%0A%0A%20%20%20%20%7C%20Estimator%20%7C%20Exact%20%24%5Coperatorname%7BVar%7D(%5Chat%20m_X)%24%20%7C%0A%20%20%20%20%7C---%7C---%7C%0A%20%20%20%20%7C%20Gaussian%20MLE%20%3D%20mean%20%7C%20%24%5Csigma%5E2%2FN%24%20%7C%0A%20%20%20%20%7C%20Laplacian%20MLE%20(median)%20%7C%20%24%5Cint%20x%5E2%5C%2C%20f_%7B%5Cmathrm%7Bmed%7D%7D(x%3BN%2Cb)%5C%2Cdx%24%20%E2%80%94%20numerical%2C%20from%20order-stat.%20formula%20%7C%0A%20%20%20%20%7C%20Laplacian%20mean%20%7C%20%242b%5E2%2FN%24%20%7C%0A%20%20%20%20%7C%20Uniform%20MLE%20(midrange)%20%7C%20%242a%5E2%5C%2C%2F%5C%2C(N%2B1)(N%2B2)%24%20%7C%0A%20%20%20%20%7C%20Uniform%20mean%20%7C%20%24a%5E2%2F(3N)%24%20%7C%0A%0A%20%20%20%20The%20curves%20use%20the%20same%20%24%5Csigma%24%2C%20%24b%24%2C%20%24a%24%20as%20the%20sliders%20in%20sections%201%E2%80%933%20above.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20rmse_N_max%20%3D%20mo.ui.slider(start%3D10%2C%20stop%3D500%2C%20step%3D10%2C%20value%3D200%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22max%20N%20for%20sweep%22)%0A%20%20%20%20return%20(rmse_N_max%2C)%0A%0A%0A%40app.cell%0Adef%20_(a_u%2C%20b_l%2C%20laplace_median_pdf%2C%20np%2C%20rmse_N_max%2C%20sig_g)%3A%0A%20%20%20%20_N_vals%20%3D%20np.unique(np.round(np.geomspace(2%2C%20rmse_N_max.value%2C%2040)).astype(int))%0A%20%20%20%20_sig%20%3D%20sig_g.value%0A%20%20%20%20_b%20%3D%20b_l.value%0A%20%20%20%20_a%20%3D%20a_u.value%0A%0A%20%20%20%20%23%20Gaussian%3A%20MLE%20%3D%20mean%20(exact)%0A%20%20%20%20var_g%20%3D%20_sig%20**%202%20%2F%20_N_vals%0A%0A%20%20%20%20%23%20Laplacian%20mean%20(exact)%0A%20%20%20%20var_l_mean%20%3D%202.0%20*%20_b%20**%202%20%2F%20_N_vals%0A%0A%20%20%20%20%23%20Laplacian%20median%3A%20integrate%20variance%20from%20exact%20order-statistic%20PDF%0A%20%20%20%20_x_int%20%3D%20np.linspace(-15%20*%20_b%2C%2015%20*%20_b%2C%201500)%0A%20%20%20%20_dx%20%3D%20_x_int%5B1%5D%20-%20_x_int%5B0%5D%0A%20%20%20%20var_l_mle%20%3D%20np.array(%5B%0A%20%20%20%20%20%20%20%20max(np.sum(_x_int%20**%202%20*%20laplace_median_pdf(_x_int%2C%20int(_n)%2C%200.0%2C%20_b))%20*%20_dx%2C%200.0)%0A%20%20%20%20%20%20%20%20for%20_n%20in%20_N_vals%0A%20%20%20%20%5D)%0A%0A%20%20%20%20%23%20Uniform%20midrange%20(exact)%0A%20%20%20%20var_u_mle%20%3D%202.0%20*%20_a%20**%202%20%2F%20((_N_vals%20%2B%201)%20*%20(_N_vals%20%2B%202))%0A%0A%20%20%20%20%23%20Uniform%20mean%20(exact)%0A%20%20%20%20var_u_mean%20%3D%20_a%20**%202%20%2F%20(3.0%20*%20_N_vals)%0A%0A%20%20%20%20N_vals_v%20%3D%20_N_vals%0A%20%20%20%20return%20N_vals_v%2C%20var_g%2C%20var_l_mean%2C%20var_l_mle%2C%20var_u_mean%2C%20var_u_mle%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20N_vals_v%2C%0A%20%20%20%20a_u%2C%0A%20%20%20%20b_l%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20rmse_N_max%2C%0A%20%20%20%20sig_g%2C%0A%20%20%20%20var_g%2C%0A%20%20%20%20var_l_mean%2C%0A%20%20%20%20var_l_mle%2C%0A%20%20%20%20var_u_mean%2C%0A%20%20%20%20var_u_mle%2C%0A)%3A%0A%20%20%20%20_sig%20%3D%20sig_g.value%0A%20%20%20%20_b%20%3D%20b_l.value%0A%20%20%20%20_a%20%3D%20a_u.value%0A%0A%20%20%20%20fig_rmse%2C%20axes_rmse%20%3D%20plt.subplots(1%2C%203%2C%20figsize%3D(15%2C%205))%0A%0A%20%20%20%20%23%20Gaussian%0A%20%20%20%20axes_rmse%5B0%5D.loglog(N_vals_v%2C%20var_g%2C%20color%3D%22%23d62728%22%2C%20lw%3D2.5%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3Dr%22MLE%20%3D%20mean%20%20%5Bexact%3A%20%24%5Csigma%5E2%2FN%24%5D%22)%0A%20%20%20%20axes_rmse%5B0%5D.set_title(%0A%20%20%20%20%20%20%20%20rf%22Gaussian%20%24%5Cmathcal%7B%7BN%7D%7D(m_X%2C%7B_sig%7D%5E2)%24%22%2C%20fontweight%3D%22bold%22%2C%20fontsize%3D10)%0A%0A%20%20%20%20%23%20Laplacian%0A%20%20%20%20axes_rmse%5B1%5D.loglog(N_vals_v%2C%20var_l_mle%2C%20color%3D%22%23d62728%22%2C%20lw%3D2.5%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22MLE%20(median)%20%20%5Bexact%20integral%5D%22)%0A%20%20%20%20axes_rmse%5B1%5D.loglog(N_vals_v%2C%20var_l_mean%2C%20color%3D%22purple%22%2C%20lw%3D2%2C%20ls%3D%22--%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3Dr%22Arith.%20mean%20%20%5Bexact%3A%20%242b%5E2%2FN%24%5D%22)%0A%20%20%20%20axes_rmse%5B1%5D.set_title(%0A%20%20%20%20%20%20%20%20rf%22Laplacian%20%24%5Cmathrm%7B%7BLap%7D%7D(m_X%2C%7B_b%7D)%24%20%20%5Bvar%24%3D%7B2*_b**2%3A.2f%7D%24%5D%22%2C%0A%20%20%20%20%20%20%20%20fontweight%3D%22bold%22%2C%20fontsize%3D10)%0A%0A%20%20%20%20%23%20Uniform%0A%20%20%20%20axes_rmse%5B2%5D.loglog(N_vals_v%2C%20var_u_mle%2C%20color%3D%22%23d62728%22%2C%20lw%3D2.5%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3Dr%22MLE%20(midrange)%20%20%5Bexact%3A%20%242a%5E2%2F(N%7B%2B%7D1)(N%7B%2B%7D2)%24%5D%22)%0A%20%20%20%20axes_rmse%5B2%5D.loglog(N_vals_v%2C%20var_u_mean%2C%20color%3D%22purple%22%2C%20lw%3D2%2C%20ls%3D%22--%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3Dr%22Arith.%20mean%20%20%5Bexact%3A%20%24a%5E2%2F3N%24%5D%22)%0A%20%20%20%20axes_rmse%5B2%5D.set_title(%0A%20%20%20%20%20%20%20%20rf%22Uniform%20%24%5Cmathcal%7B%7BU%7D%7D(m_X%5Cpm%7B_a%7D)%24%20%20%5Bvar%24%3D%7B_a**2%2F3%3A.2f%7D%24%5D%22%2C%0A%20%20%20%20%20%20%20%20fontweight%3D%22bold%22%2C%20fontsize%3D10)%0A%0A%20%20%20%20for%20_ax%20in%20axes_rmse%3A%0A%20%20%20%20%20%20%20%20_ax.set_xlabel(%22%24N%24%20(sample%20size)%22)%0A%20%20%20%20%20%20%20%20_ax.set_ylabel(r%22%24%5Coperatorname%7BVar%7D(%5Chat%20m_X)%24%22)%0A%20%20%20%20%20%20%20%20_ax.legend(fontsize%3D8.5)%0A%20%20%20%20%20%20%20%20_ax.grid(alpha%3D0.3%2C%20which%3D%22both%22)%0A%20%20%20%20%20%20%20%20_ax.spines%5B%5B%22top%22%2C%20%22right%22%5D%5D.set_visible(False)%0A%0A%20%20%20%20plt.suptitle(%0A%20%20%20%20%20%20%20%20rf%22Exact%20variance%3A%20MLE%20vs%20arithmetic%20mean%20%20(%24N%24%20up%20to%20%7Bint(rmse_N_max.value)%7D)%22%2C%0A%20%20%20%20%20%20%20%20fontweight%3D%22bold%22%2C%20fontsize%3D11%2C%0A%20%20%20%20)%0A%20%20%20%20plt.tight_layout()%0A%20%20%20%20return%20(fig_rmse%2C)%0A%0A%0A%40app.cell%0Adef%20_(fig_rmse%2C%20mo%2C%20rmse_N_max)%3A%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20rmse_N_max%2C%0A%20%20%20%20%20%20%20%20mo.mpl.interactive(fig_rmse)%2C%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20**Observations%3A**%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20-%20**Gaussian%3A**%20MLE%20%3D%20arithmetic%20mean%20%E2%80%94%20single%20curve%2C%20slope%20%24-1%24.%0A%20%20%20%20%20%20%20%20%20%20%20%20-%20**Laplacian%3A**%20Both%20variances%20decay%20as%20%241%2FN%24%20(slope%20%24-1%24)%2C%20but%20the%20MLE%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20(median)%20has%20a%20smaller%20constant%3A%20asymptotically%20%24b%5E2%2FN%24%20vs.%20%242b%5E2%2FN%24%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20the%20mean%20%E2%80%94%20the%20mean's%20variance%20is%20twice%20as%20large.%0A%20%20%20%20%20%20%20%20%20%20%20%20-%20**Uniform%3A**%20MLE%20(midrange)%20variance%20decays%20as%20%241%2FN%5E2%24%20(slope%20%24-2%24%20on%20the%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20log%E2%80%93log%20plot)%2C%20while%20the%20arithmetic%20mean%20decays%20as%20%241%2FN%24%20(slope%20%24-1%24)%20%E2%80%94%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20the%20variance%20ratio%20grows%20as%20%24N%2F3%24%2C%20so%20the%20midrange%20becomes%20infinitely%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20more%20efficient%20as%20%24N%24%20increases.%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Summary%0A%0A%20%20%20%20The%20choice%20of%20noise%20model%20determines%20which%20estimator%20is%20optimal%3A%0A%0A%20%20%20%20%7C%20Distribution%20%7C%20MLE%20for%20%24m_X%24%20%7C%20Sampling%20dist.%20(exact)%20%7C%20Arithmetic%20mean%20%7C%0A%20%20%20%20%7C---%7C---%7C---%7C---%7C%0A%20%20%20%20%7C%20Gaussian%20%24%5Cmathcal%7BN%7D(m_X%2C%5Csigma%5E2)%24%20%7C%20%24%5Cbar%20x_N%24%20%7C%20%24%5Coperatorname%7BVar%7D%20%3D%20%5Csigma%5E2%2FN%24%20%7C%20**Identical**%3B%20%24%5Coperatorname%7BVar%7D%20%3D%20%5Csigma%5E2%2FN%24%20%7C%0A%20%20%20%20%7C%20Laplacian%20%24%5Cmathrm%7BLap%7D(m_X%2Cb)%24%20%7C%20%24%5Coperatorname%7Bmedian%7D(%5Cmathbf%7Bx%7D)%24%20%7C%20%24%5Coperatorname%7BVar%7D%20%5Cto%20b%5E2%2FN%24%20%7C%20%24%5Coperatorname%7BVar%7D%20%3D%202b%5E2%2FN%24%20%E2%80%94%20%242%5Ctimes%24%20larger%20%7C%0A%20%20%20%20%7C%20Uniform%20%24%5Cmathcal%7BU%7D(m_X%7B-%7Da%2Cm_X%7B%2B%7Da)%24%20%7C%20%24%5Cfrac%7Bx_%7B(1)%7D%2Bx_%7B(N)%7D%7D%7B2%7D%24%20(midrange)%20%7C%20%24%5Coperatorname%7BVar%7D%20%3D%20%5Cfrac%7B2a%5E2%7D%7B(N%2B1)(N%2B2)%7D%20%5Csim%20%5Cfrac%7B2a%5E2%7D%7BN%5E2%7D%24%20%7C%20%24%5Coperatorname%7BVar%7D%20%3D%20%5Cfrac%7Ba%5E2%7D%7B3N%7D%24%20%E2%80%94%20ratio%20%24%5Csim%20N%2F3%24%20%7C%0A%0A%20%20%20%20**Key%20insight%3A**%20the%20arithmetic%20mean%20is%20unbiased%20for%20any%20symmetric%20distribution%20with%0A%20%20%20%20finite%20variance%2C%20but%20it%20is%20only%20*efficient*%20(MLE)%20when%20the%20noise%20is%20Gaussian.%0A%20%20%20%20Heavier%20tails%20(Laplacian)%20call%20for%20the%20median%3B%20bounded%20support%20(Uniform)%20calls%20for%0A%20%20%20%20the%20midrange%2C%20which%20converges%20much%20faster.%0A%0A%20%20%20%20This%20is%20the%20frequentist%20analogue%20of%20the%20classical%20statement%3A%20the%20%24%5Cell_2%24%20loss%0A%20%20%20%20is%20the%20%22right%22%20loss%20only%20for%20Gaussian%20noise%3B%20%24%5Cell_1%24%20is%20right%20for%20Laplacian%3B%20and%0A%20%20%20%20the%20minimax%20%2F%20range%20statistic%20is%20right%20for%20uniform%20noise.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A