gaussian ml estimation interactive

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.11%22%0A%23%20dependencies%20%3D%20%5B%22marimo%3E%3D0.23.9%22%2C%20%22matplotlib%3D%3D3.10.8%22%2C%20%22numpy%3D%3D2.4.3%22%2C%20%22scipy%3D%3D1.17.1%22%5D%0A%23%20%0A%23%20%5Btool.marimo.export%5D%0A%23%20lock_kind%20%3D%20%22resolved%22%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.23.13%22%0Aapp%20%3D%20marimo.App()%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20from%20scipy.stats%20import%20norm%0A%0A%20%20%20%20plt.style.use(%22default%22)%0A%20%20%20%20return%20mo%2C%20norm%2C%20np%2C%20plt%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Maximum%20Likelihood%20for%20a%20Gaussian%20%E2%80%94%20Estimating%20Mean%20and%20Variance%0A%0A%20%20%20%20Imagine%20a%20**hypothetical%20world%20for%20every%20possible%20value%20of%20a%20parameter**.%20Each%20world%0A%20%20%20%20predicts%20the%20data%20with%20some%20probability%20%E2%80%94%20its%20*likelihood*.%20Maximum-likelihood%0A%20%20%20%20estimation%20simply%20picks%20the%20world%20(the%20parameter%20value)%20under%20which%20the%20observed%0A%20%20%20%20measurements%20are%20most%20probable%3A%0A%20%20%20%20%24%24%0A%20%20%20%20%5Cwidehat%7B%5Cboldsymbol%7B%5Cphi%7D%7D_%7B%5Cmathrm%7BML%7D%7D%0A%20%20%20%20%3D%20%5Coperatorname%7Bargmax%7D_%7B%5Cboldsymbol%7B%5Cphi%7D%7D%5C%2C%20%5Cmathcal%7BL%7D(%5Cboldsymbol%7B%5Cphi%7D)%2C%0A%20%20%20%20%5Cqquad%0A%20%20%20%20%5Cmathcal%7BL%7D(%5Cboldsymbol%7B%5Cphi%7D)%0A%20%20%20%20%3D%20f_%7B%5Cmathbf%7BX%7D%5Cmid%5Cboldsymbol%7B%5Cphi%7D%7D(%5Cmathbf%7Bx%7D%5Cmid%5Cboldsymbol%7B%5Cphi%7D)%0A%20%20%20%20%3D%20%5Cprod_%7Bi%3D1%7D%5E%7BN%7D%20f_%7BX_i%5Cmid%5Cboldsymbol%7B%5Cphi%7D%7D(x_i%5Cmid%5Cboldsymbol%7B%5Cphi%7D).%0A%20%20%20%20%24%24%0A%20%20%20%20We%20assume%20the%20measurements%20%24X_1%2C%5Cdots%2CX_N%24%20are%20independent%20and%20Gaussian%2C%0A%20%20%20%20%24%24%0A%20%20%20%20f(x%5Cmid%20m_X%2C%5Csigma_X%5E2)%0A%20%20%20%20%3D%20%5Cfrac%7B1%7D%7B%5Csqrt%7B2%5Cpi%7D%5C%2C%5Csigma_X%7D%5Cexp%5C!%5CBig(-%5Cfrac%7B(x-m_X)%5E2%7D%7B2%5Csigma_X%5E2%7D%5CBig)%2C%0A%20%20%20%20%24%24%0A%20%20%20%20and%20estimate%20first%20the%20**mean**%20(with%20the%20variance%20known)%2C%20then%20the%20**variance**%0A%20%20%20%20(with%20the%20mean%20known).%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%201%20%C2%B7%20Known%20variance%2C%20unknown%20mean%0A%0A%20%20%20%20Fix%20the%20variance%20%24%5Csigma_X%5E2%24%20%E2%80%94%20pretend%20we%20know%20it.%20For%20each%20*hypothetical*%20mean%20%24m%24%0A%20%20%20%20the%20data%20have%20a%20likelihood%20%24%5Cmathcal%7BL%7D(m)%3D%5Cprod_i%20f(x_i%5Cmid%20m%2C%5Csigma_X%5E2)%24.%20Sweeping%0A%20%20%20%20%24m%24%20traces%20the%20likelihood%20curve%20on%20the%20right%3B%20its%20peak%20is%20the%20ML%20estimate%0A%20%20%20%20%24%24%0A%20%20%20%20%5Cwidehat%7Bm%7D_%7BX%2C%5Cmathrm%7BML%7D%7D%20%3D%20%5Cfrac%7B1%7D%7BN%7D%5Csum_%7Bi%3D1%7D%5E%7BN%7D%20x_i%20%2C%0A%20%20%20%20%24%24%0A%20%20%20%20the%20sample%20mean%20(book%20Eq.%207.30).%20Try%20the%20sliders%3A%20more%20measurements%20%24N%24%20sharpen%20the%0A%20%20%20%20curve%20as%20%241%2F%5Csqrt%7BN%7D%24%2C%20while%20the%20assumed%20%24%5Csigma%24%20only%20stretches%20its%20**width**%20%E2%80%94%20the%0A%20%20%20%20**peak%20(the%20estimate)%20does%20not%20move**.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20m_true_a%20%3D%20mo.ui.slider(start%3D-5.0%2C%20stop%3D5.0%2C%20step%3D0.1%2C%20value%3D0.0%2C%20label%3D%22true%20mean%20m%E2%82%93%20(data%20centre)%22)%0A%20%20%20%20N_a%20%3D%20mo.ui.slider(start%3D1%2C%20stop%3D200%2C%20step%3D1%2C%20value%3D10%2C%20label%3D%22number%20of%20measurements%20N%22)%0A%20%20%20%20seed_a%20%3D%20mo.ui.slider(start%3D0%2C%20stop%3D200%2C%20step%3D1%2C%20value%3D1%2C%20label%3D%22random%20seed%22)%0A%20%20%20%20sig_a%20%3D%20mo.ui.slider(start%3D0.5%2C%20stop%3D6.0%2C%20step%3D0.1%2C%20value%3D2.0%2C%20label%3D%22assumed%20known%20std%20%CF%83%20(model)%22)%0A%20%20%20%20return%20N_a%2C%20m_true_a%2C%20seed_a%2C%20sig_a%0A%0A%0A%40app.cell%0Adef%20_(N_a%2C%20m_true_a%2C%20np%2C%20seed_a)%3A%0A%20%20%20%20DATA_STD_A%20%3D%202.0%0A%20%20%20%20_rng%20%3D%20np.random.default_rng(int(seed_a.value))%0A%20%20%20%20x_a%20%3D%20m_true_a.value%20%2B%20DATA_STD_A%20*%20_rng.standard_normal(int(N_a.value))%0A%20%20%20%20xbar_a%20%3D%20float(np.mean(x_a))%0A%20%20%20%20return%20DATA_STD_A%2C%20x_a%2C%20xbar_a%0A%0A%0A%40app.cell%0Adef%20_(DATA_STD_A%2C%20m_true_a%2C%20norm%2C%20np%2C%20plt%2C%20sig_a%2C%20x_a%2C%20xbar_a)%3A%0A%20%20%20%20_sig%20%3D%20sig_a.value%0A%20%20%20%20_N%20%3D%20len(x_a)%0A%20%20%20%20_se%20%3D%20_sig%20%2F%20np.sqrt(_N)%0A%20%20%20%20_half%20%3D%20max(3.0%20*%20DATA_STD_A%2C%201.6%20*%20_sig)%0A%0A%20%20%20%20_mu%20%3D%20np.linspace(xbar_a%20-%20_half%2C%20xbar_a%20%2B%20_half%2C%20500)%0A%20%20%20%20_const%20%3D%20-_N%20%2F%202%20*%20np.log(2%20*%20np.pi%20*%20_sig**2)%0A%20%20%20%20_ll%20%3D%20_const%20-%20np.array(%5Bnp.sum((x_a%20-%20_m)%20**%202)%20for%20_m%20in%20_mu%5D)%20%2F%20(2%20*%20_sig**2)%0A%20%20%20%20_rel%20%3D%20np.exp(_ll%20-%20_ll.max())%0A%0A%20%20%20%20figA%2C%20(_axL%2C%20_axR)%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(14%2C%205))%0A%0A%20%20%20%20_xg%20%3D%20np.linspace(xbar_a%20-%20_half%2C%20xbar_a%20%2B%20_half%2C%20400)%0A%20%20%20%20_peak%20%3D%201.0%20%2F%20(np.sqrt(2%20*%20np.pi)%20*%20_sig)%0A%20%20%20%20for%20_xi%20in%20x_a%3A%0A%20%20%20%20%20%20%20%20_axL.plot(%5B_xi%2C%20_xi%5D%2C%20%5B0%2C%200.06%20*%20_peak%5D%2C%20color%3D%22black%22%2C%20alpha%3D0.5%2C%20lw%3D1)%0A%20%20%20%20_axL.plot(x_a%2C%20np.zeros_like(x_a)%2C%20%22o%22%2C%20color%3D%22black%22%2C%20ms%3D4%2C%20alpha%3D0.6%2C%20label%3D%22measurements%22)%0A%20%20%20%20_axL.plot(_xg%2C%20norm.pdf(_xg%2C%20xbar_a%2C%20_sig)%2C%20color%3D%22%23d62728%22%2C%20lw%3D2.5%2C%20label%3Df%22ML%20fit%20%20m%CC%82%3D%7Bxbar_a%3A.2f%7D%22)%0A%20%20%20%20for%20_mc%20in%20(xbar_a%20-%201.2%20*%20_sig%2C%20xbar_a%20%2B%201.2%20*%20_sig)%3A%0A%20%20%20%20%20%20%20%20_axL.plot(_xg%2C%20norm.pdf(_xg%2C%20_mc%2C%20_sig)%2C%20color%3D%22gray%22%2C%20lw%3D1.5%2C%20ls%3D%22%3A%22%2C%20label%3Df%22candidate%20m%3D%7B_mc%3A.2f%7D%22)%0A%20%20%20%20_axL.axvline(m_true_a.value%2C%20color%3D%22green%22%2C%20ls%3D%22--%22%2C%20lw%3D1.2%2C%20label%3Df%22true%20m%3D%7Bm_true_a.value%3A.1f%7D%22)%0A%20%20%20%20_axL.set_title(f%22Data%20and%20candidate%20Gaussians%20(known%20%CF%83%20%3D%20%7B_sig%3A.1f%7D)%22%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20_axL.set_xlabel(%22x%22)%0A%20%20%20%20_axL.set_ylabel(%22density%22)%0A%20%20%20%20_axL.legend(fontsize%3D9)%0A%20%20%20%20_axL.grid(alpha%3D0.3)%0A%0A%20%20%20%20_axR.plot(_mu%2C%20_rel%2C%20color%3D%22%231f77b4%22%2C%20lw%3D2.5)%0A%20%20%20%20_axR.fill_between(_mu%2C%20_rel%2C%20color%3D%22%231f77b4%22%2C%20alpha%3D0.12)%0A%20%20%20%20_axR.axvspan(xbar_a%20-%20_se%2C%20xbar_a%20%2B%20_se%2C%20color%3D%22orange%22%2C%20alpha%3D0.18%2C%20label%3Df%22%C2%B1%CF%83%2F%E2%88%9AN%20%3D%20%C2%B1%7B_se%3A.2f%7D%22)%0A%20%20%20%20_axR.axvline(xbar_a%2C%20color%3D%22%23d62728%22%2C%20lw%3D2%2C%20label%3Df%22ML%20estimate%20m%CC%82%3D%7Bxbar_a%3A.2f%7D%22)%0A%20%20%20%20_axR.axvline(m_true_a.value%2C%20color%3D%22green%22%2C%20ls%3D%22--%22%2C%20lw%3D1.2%2C%20label%3Df%22true%20m%3D%7Bm_true_a.value%3A.1f%7D%22)%0A%20%20%20%20for%20_mc%20in%20(xbar_a%20-%201.2%20*%20_sig%2C%20xbar_a%20%2B%201.2%20*%20_sig)%3A%0A%20%20%20%20%20%20%20%20_llc%20%3D%20_const%20-%20np.sum((x_a%20-%20_mc)%20**%202)%20%2F%20(2%20*%20_sig**2)%0A%20%20%20%20%20%20%20%20_rel_c%20%3D%20np.exp(_llc%20-%20_ll.max())%0A%20%20%20%20%20%20%20%20_axR.axvline(_mc%2C%20color%3D%22gray%22%2C%20lw%3D0.8%2C%20ls%3D%22%3A%22)%0A%20%20%20%20%20%20%20%20_axR.plot(%5B_mc%5D%2C%20%5B_rel_c%5D%2C%20%22o%22%2C%20color%3D%22gray%22%2C%20ms%3D7)%0A%20%20%20%20%20%20%20%20_axR.annotate(f%22m%3D%7B_mc%3A.2f%7D%22%2C%20xy%3D(_mc%2C%20_rel_c)%2C%20xytext%3D(4%2C%206)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20textcoords%3D%22offset%20points%22%2C%20fontsize%3D8%2C%20color%3D%22gray%22)%0A%20%20%20%20_axR.set_title(r%22Likelihood%20of%20the%20mean%20%20%24%5Cmathcal%7BL%7D(m)%3D%5Cprod_i%20f(x_i%5Cmid%20m%2C%5Csigma%5E2)%24%22%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20_axR.set_xlabel(%22candidate%20mean%20m%22)%0A%20%20%20%20_axR.set_ylabel(%22relative%20likelihood%22)%0A%20%20%20%20_axR.legend(fontsize%3D9)%0A%20%20%20%20_axR.grid(alpha%3D0.3)%0A%20%20%20%20plt.tight_layout()%0A%0A%20%20%20%20noteA%20%3D%20(%0A%20%20%20%20%20%20%20%20f%22%24N%3D%7B_N%7D%24%20measurements%2C%20assumed%20known%20%24%5C%5Csigma%3D%7B_sig%3A.1f%7D%24.%20%20%22%0A%20%20%20%20%20%20%20%20f%22ML%20estimate%20of%20the%20mean%3A%20%24%5C%5Cwidehat%20m_X%3D%5C%5Cfrac1N%5C%5Csum_i%20x_i%20%3D%20%7Bxbar_a%3A.2f%7D%24%20(the%20peak).%20%20%22%0A%20%20%20%20%20%20%20%20f%22Standard%20error%20%24%5C%5Csigma%2F%5C%5Csqrt%20N%20%3D%20%7B_se%3A.2f%7D%24.%20%20%22%0A%20%20%20%20%20%20%20%20%22Changing%20the%20assumed%20%24%5C%5Csigma%24%20rescales%20the%20**width**%20of%20%24%5C%5Cmathcal%20L(m)%24%20but%20never%20moves%20its%20%22%0A%20%20%20%20%20%20%20%20%22**peak**%3B%20more%20measurements%20%24N%24%20narrow%20it%20as%20%241%2F%5C%5Csqrt%20N%24.%22%0A%20%20%20%20)%0A%20%20%20%20return%20figA%2C%20noteA%0A%0A%0A%40app.cell%0Adef%20_(N_a%2C%20figA%2C%20m_true_a%2C%20mo%2C%20noteA%2C%20seed_a%2C%20sig_a)%3A%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Bm_true_a%2C%20N_a%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Bsig_a%2C%20seed_a%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.mpl.interactive(figA)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(noteA)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%202%20%C2%B7%20Known%20mean%2C%20unknown%20variance%0A%0A%20%20%20%20Now%20fix%20the%20mean%20and%20estimate%20the%20spread.%20For%20each%20hypothetical%20variance%20%24%5Csigma%5E2%24%0A%20%20%20%20the%20likelihood%20is%20%24%5Cmathcal%7BL%7D(%5Csigma%5E2)%3D%5Cprod_i%20f(x_i%5Cmid%20m_X%2C%5Csigma%5E2)%24%2C%20peaking%20at%20the%0A%20%20%20%20ML%20estimate%0A%20%20%20%20%24%24%0A%20%20%20%20%5Cwidehat%7B%5Csigma%7D_%7BX%2C%5Cmathrm%7BML%7D%7D%5E2%20%3D%20%5Cfrac%7B1%7D%7BN%7D%5Csum_%7Bi%3D1%7D%5E%7BN%7D%20(x_i-m_X)%5E2%0A%20%20%20%20%24%24%0A%20%20%20%20(book%20Eq.%207.31).%20Unlike%20the%20mean%2C%20the%20variance%20likelihood%20is%20**skewed**.%20Mis-setting%0A%20%20%20%20the%20known%20mean%20away%20from%20the%20data%20centre%20inflates%20%24%5Csum_i%20(x_i-m_X)%5E2%24%2C%20and%20so%20the%0A%20%20%20%20estimated%20variance%20grows.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20m_b%20%3D%20mo.ui.slider(start%3D-5.0%2C%20stop%3D5.0%2C%20step%3D0.1%2C%20value%3D0.0%2C%20label%3D%22assumed%20known%20mean%20m%E2%82%93%20(model)%22)%0A%20%20%20%20sig_b%20%3D%20mo.ui.slider(start%3D0.5%2C%20stop%3D5.0%2C%20step%3D0.1%2C%20value%3D2.0%2C%20label%3D%22true%20std%20%CF%83%20(data%2C%20centred%20at%200)%22)%0A%20%20%20%20N_b%20%3D%20mo.ui.slider(start%3D1%2C%20stop%3D200%2C%20step%3D1%2C%20value%3D10%2C%20label%3D%22number%20of%20measurements%20N%22)%0A%20%20%20%20seed_b%20%3D%20mo.ui.slider(start%3D0%2C%20stop%3D200%2C%20step%3D1%2C%20value%3D2%2C%20label%3D%22random%20seed%22)%0A%20%20%20%20return%20N_b%2C%20m_b%2C%20seed_b%2C%20sig_b%0A%0A%0A%40app.cell%0Adef%20_(N_b%2C%20m_b%2C%20np%2C%20seed_b%2C%20sig_b)%3A%0A%20%20%20%20_rng%20%3D%20np.random.default_rng(int(seed_b.value))%0A%20%20%20%20x_b%20%3D%20sig_b.value%20*%20_rng.standard_normal(int(N_b.value))%20%20%23%20true%20mean%20fixed%20at%200%0A%20%20%20%20S_b%20%3D%20float(np.sum((x_b%20-%20m_b.value)%20**%202))%0A%20%20%20%20mle_var_b%20%3D%20S_b%20%2F%20len(x_b)%0A%20%20%20%20return%20mle_var_b%2C%20x_b%0A%0A%0A%40app.cell%0Adef%20_(m_b%2C%20mle_var_b%2C%20norm%2C%20np%2C%20plt%2C%20sig_b%2C%20x_b)%3A%0A%20%20%20%20_N%20%3D%20len(x_b)%0A%20%20%20%20_m%20%3D%20m_b.value%0A%0A%20%20%20%20_vmax%20%3D%20max(mle_var_b%20*%203.0%2C%20sig_b.value**2%20*%202.0%2C%201.0)%0A%20%20%20%20_v%20%3D%20np.linspace(1e-3%2C%20_vmax%2C%20500)%0A%20%20%20%20_S%20%3D%20np.sum((x_b%20-%20_m)%20**%202)%0A%20%20%20%20_ll%20%3D%20-_N%20%2F%202%20*%20np.log(2%20*%20np.pi%20*%20_v)%20-%20_S%20%2F%20(2%20*%20_v)%0A%20%20%20%20_rel%20%3D%20np.exp(_ll%20-%20_ll.max())%0A%0A%20%20%20%20figB%2C%20(_axL%2C%20_axR)%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(14%2C%205))%0A%0A%20%20%20%20_std_mle%20%3D%20np.sqrt(mle_var_b)%0A%20%20%20%20_half%20%3D%203.0%20*%20max(sig_b.value%2C%20_std_mle)%0A%20%20%20%20_xg%20%3D%20np.linspace(_m%20-%20_half%2C%20_m%20%2B%20_half%2C%20400)%0A%20%20%20%20_peak%20%3D%201.0%20%2F%20(np.sqrt(2%20*%20np.pi)%20*%20_std_mle)%0A%20%20%20%20for%20_xi%20in%20x_b%3A%0A%20%20%20%20%20%20%20%20_axL.plot(%5B_xi%2C%20_xi%5D%2C%20%5B0%2C%200.06%20*%20_peak%5D%2C%20color%3D%22black%22%2C%20alpha%3D0.5%2C%20lw%3D1)%0A%20%20%20%20_axL.plot(x_b%2C%20np.zeros_like(x_b)%2C%20%22o%22%2C%20color%3D%22black%22%2C%20ms%3D4%2C%20alpha%3D0.6%2C%20label%3D%22measurements%22)%0A%20%20%20%20_axL.plot(_xg%2C%20norm.pdf(_xg%2C%20_m%2C%20_std_mle)%2C%20color%3D%22%23d62728%22%2C%20lw%3D2.5%2C%20label%3Df%22ML%20fit%20%20%CF%83%CC%82%C2%B2%3D%7Bmle_var_b%3A.2f%7D%22)%0A%20%20%20%20_vc_lo%2C%20_vc_hi%20%3D%20mle_var_b%20*%200.4%2C%20mle_var_b%20*%202.2%0A%20%20%20%20_axL.plot(_xg%2C%20norm.pdf(_xg%2C%20_m%2C%20np.sqrt(_vc_lo))%2C%20color%3D%22gray%22%2C%20lw%3D1.5%2C%20ls%3D%22%3A%22%2C%20label%3Df%22candidate%20%CF%83%C2%B2%3D%7B_vc_lo%3A.2f%7D%22)%0A%20%20%20%20_axL.plot(_xg%2C%20norm.pdf(_xg%2C%20_m%2C%20np.sqrt(_vc_hi))%2C%20color%3D%22gray%22%2C%20lw%3D1.5%2C%20ls%3D%22--%22%2C%20label%3Df%22candidate%20%CF%83%C2%B2%3D%7B_vc_hi%3A.2f%7D%22)%0A%20%20%20%20_axL.axvline(_m%2C%20color%3D%22purple%22%2C%20ls%3D%22--%22%2C%20lw%3D1.2%2C%20label%3Df%22known%20mean%20m%3D%7B_m%3A.1f%7D%22)%0A%20%20%20%20_axL.set_title(%22Data%20and%20candidate%20Gaussians%20(known%20mean)%22%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20_axL.set_xlabel(%22x%22)%0A%20%20%20%20_axL.set_ylabel(%22density%22)%0A%20%20%20%20_axL.legend(fontsize%3D9)%0A%20%20%20%20_axL.grid(alpha%3D0.3)%0A%0A%20%20%20%20_axR.plot(_v%2C%20_rel%2C%20color%3D%22%231f77b4%22%2C%20lw%3D2.5)%0A%20%20%20%20_axR.fill_between(_v%2C%20_rel%2C%20color%3D%22%231f77b4%22%2C%20alpha%3D0.12)%0A%20%20%20%20_axR.axvline(mle_var_b%2C%20color%3D%22%23d62728%22%2C%20lw%3D2%2C%20label%3Df%22ML%20estimate%20%CF%83%CC%82%C2%B2%3D%7Bmle_var_b%3A.2f%7D%22)%0A%20%20%20%20_axR.axvline(sig_b.value**2%2C%20color%3D%22green%22%2C%20ls%3D%22--%22%2C%20lw%3D1.2%2C%20label%3Df%22true%20%CF%83%C2%B2%3D%7Bsig_b.value**2%3A.2f%7D%22)%0A%20%20%20%20for%20_vc%2C%20_ls%20in%20%5B(_vc_lo%2C%20%22%3A%22)%2C%20(_vc_hi%2C%20%22--%22)%5D%3A%0A%20%20%20%20%20%20%20%20_llc%20%3D%20-_N%20%2F%202%20*%20np.log(2%20*%20np.pi%20*%20_vc)%20-%20_S%20%2F%20(2%20*%20_vc)%0A%20%20%20%20%20%20%20%20_rel_c%20%3D%20np.exp(_llc%20-%20_ll.max())%0A%20%20%20%20%20%20%20%20_axR.axvline(_vc%2C%20color%3D%22gray%22%2C%20lw%3D0.8%2C%20ls%3D_ls)%0A%20%20%20%20%20%20%20%20_axR.plot(%5B_vc%5D%2C%20%5B_rel_c%5D%2C%20%22o%22%2C%20color%3D%22gray%22%2C%20ms%3D7)%0A%20%20%20%20%20%20%20%20_axR.annotate(f%22%CF%83%C2%B2%3D%7B_vc%3A.2f%7D%22%2C%20xy%3D(_vc%2C%20_rel_c)%2C%20xytext%3D(4%2C%206)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20textcoords%3D%22offset%20points%22%2C%20fontsize%3D8%2C%20color%3D%22gray%22)%0A%20%20%20%20_axR.set_title(r%22Likelihood%20of%20the%20variance%20%20%24%5Cmathcal%7BL%7D(%5Csigma%5E2)%3D%5Cprod_i%20f(x_i%5Cmid%20m%2C%5Csigma%5E2)%24%22%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20_axR.set_xlabel(%22candidate%20variance%20%CF%83%C2%B2%22)%0A%20%20%20%20_axR.set_ylabel(%22relative%20likelihood%22)%0A%20%20%20%20_axR.legend(fontsize%3D9)%0A%20%20%20%20_axR.grid(alpha%3D0.3)%0A%20%20%20%20plt.tight_layout()%0A%0A%20%20%20%20noteB%20%3D%20(%0A%20%20%20%20%20%20%20%20f%22%24N%3D%7B_N%7D%24%2C%20known%20mean%20%24m%3D%7B_m%3A.1f%7D%24%2C%20true%20%24%5C%5Csigma%5E2%3D%7Bsig_b.value**2%3A.2f%7D%24.%20%20%22%0A%20%20%20%20%20%20%20%20f%22ML%20estimate%3A%20%24%5C%5Cwidehat%5C%5Csigma_%7B%7BX%2C%5C%5Cmathrm%7B%7BML%7D%7D%7D%7D%5E2%3D%5C%5Cfrac1N%5C%5Csum_i%20(x_i-m_X)%5E2%20%3D%20%7Bmle_var_b%3A.2f%7D%24%20(the%20peak).%20%20%22%0A%20%20%20%20%20%20%20%20%22The%20variance%20likelihood%20is%20**asymmetric**%20in%20%24%5C%5Csigma%5E2%24%2C%20unlike%20the%20symmetric%20mean%20likelihood.%20%22%0A%20%20%20%20%20%20%20%20%22Moving%20the%20known%20mean%20away%20from%20%240%24%20inflates%20the%20estimate.%22%0A%20%20%20%20)%0A%20%20%20%20return%20figB%2C%20noteB%0A%0A%0A%40app.cell%0Adef%20_(N_b%2C%20figB%2C%20m_b%2C%20mo%2C%20noteB%2C%20seed_b%2C%20sig_b)%3A%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Bm_b%2C%20sig_b%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5BN_b%2C%20seed_b%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.mpl.interactive(figB)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(noteB)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Key%20takeaways%0A%0A%20%20%20%201.%20**Likelihood%20%3D%20score%20over%20hypothetical%20worlds.**%20Each%20candidate%20parameter%20value%20is%0A%20%20%20%20%20%20%20a%20world%3B%20its%20likelihood%20is%20how%20probable%20it%20makes%20the%20observed%20sample.%20ML%20picks%20the%0A%20%20%20%20%20%20%20maximizer.%0A%0A%20%20%20%202.%20**Mean%20(known%20variance).**%20%24%5Cwidehat%7Bm%7D_%7BX%2C%5Cmathrm%7BML%7D%7D%20%3D%20%5Cfrac1N%5Csum_i%20x_i%24.%20The%20likelihood%0A%20%20%20%20%20%20%20%24%5Cmathcal%7BL%7D(m)%24%20is%20Gaussian%20in%20%24m%24%2C%20centred%20at%20the%20sample%20mean%20with%20width%0A%20%20%20%20%20%20%20%24%5Csigma%2F%5Csqrt%7BN%7D%24.%20The%20assumed%20variance%20sets%20the%20width%20(our%20confidence)%20but%20not%20the%0A%20%20%20%20%20%20%20location%20of%20the%20estimate.%0A%0A%20%20%20%203.%20**Variance%20(known%20mean).**%20%24%5Cwidehat%7B%5Csigma%7D_%7BX%2C%5Cmathrm%7BML%7D%7D%5E2%20%3D%20%5Cfrac1N%5Csum_i%20(x_i-m_X)%5E2%24.%20The%0A%20%20%20%20%20%20%20likelihood%20%24%5Cmathcal%7BL%7D(%5Csigma%5E2)%24%20is%20skewed%2C%20and%20the%20estimate%20depends%20on%20how%20well%0A%20%20%20%20%20%20%20the%20assumed%20mean%20matches%20the%20data.%0A%0A%20%20%20%204.%20**More%20data%2C%20sharper%20likelihood.**%20In%20both%20cases%20the%20likelihood%20concentrates%20as%20%24N%24%0A%20%20%20%20%20%20%20grows%2C%20so%20the%20estimates%20become%20more%20certain%20%E2%80%94%20the%20ML%20estimator%20is%20consistent.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A