normal variance estimator interactive

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.11%22%0A%23%20dependencies%20%3D%20%5B%22marimo%3E%3D0.23.9%22%2C%20%22matplotlib%3D%3D3.10.8%22%2C%20%22numpy%3D%3D2.4.3%22%2C%20%22scipy%3D%3D1.17.1%22%5D%0A%23%20%0A%23%20%5Btool.marimo.export%5D%0A%23%20lock_kind%20%3D%20%22resolved%22%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.23.13%22%0Aapp%20%3D%20marimo.App()%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20from%20scipy%20import%20stats%0A%0A%20%20%20%20plt.style.use(%22default%22)%0A%20%20%20%20return%20mo%2C%20np%2C%20plt%2C%20stats%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20The%20Variance%20Estimator%20for%20IID%20Normal%20Random%20Variables%0A%20%20%20%20%23%23%20Interactive%20Exploration%20of%20Variability%20and%20Chi-Square%20Theory%0A%0A%20%20%20%20Let%20%24X_1%2C%20%5Cldots%2C%20X_N%20%5Csim%20%5Cmathcal%7BN%7D(m_X%2C%20%5Csigma_X%5E2)%24%20independently.%0A%0A%20%20%20%20Assume%20the%20mean%20%24m_X%24%20is%20known.%20We%20estimate%20the%20variance%20by%20the%20arithmetic%20average%0A%20%20%20%20of%20the%20squared%20deviations%20from%20this%20known%20mean%3A%0A%0A%20%20%20%20%24%24%0A%20%20%20%20%5Cwidehat%7B%5CSigma%7D_X%5E2%0A%20%20%20%20%3D%20%5Cfrac%7B1%7D%7BN%7D%5Csum_%7Bi%3D1%7D%5EN%20(X_i-m_X)%5E2.%0A%20%20%20%20%24%24%0A%0A%20%20%20%20This%20estimator%20is%20unbiased.%20For%20normal%20samples%2C%0A%0A%20%20%20%20%24%24%0A%20%20%20%20%5Cfrac%7BN%5Cwidehat%7B%5CSigma%7D_X%5E2%7D%7B%5Csigma_X%5E2%7D%20%5Csim%20%5Cchi%5E2_N%2C%0A%20%20%20%20%5Cqquad%0A%20%20%20%20%5Cmathbb%7BE%7D%5B%5Cwidehat%7B%5CSigma%7D_X%5E2%5D%3D%5Csigma_X%5E2.%0A%20%20%20%20%24%24%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%23%201.%20One%20Sample%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20N_single%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20value%3D20%2C%0A%20%20%20%20%20%20%20%20start%3D2%2C%0A%20%20%20%20%20%20%20%20stop%3D300%2C%0A%20%20%20%20%20%20%20%20step%3D1%2C%0A%20%20%20%20%20%20%20%20label%3D%22Sample%20size%20(N)%3A%22%2C%0A%20%20%20%20)%0A%20%20%20%20m_single%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20value%3D0.0%2C%0A%20%20%20%20%20%20%20%20start%3D-5.0%2C%0A%20%20%20%20%20%20%20%20stop%3D5.0%2C%0A%20%20%20%20%20%20%20%20step%3D0.1%2C%0A%20%20%20%20%20%20%20%20label%3D%22Mean%20(m_X)%3A%22%2C%0A%20%20%20%20)%0A%20%20%20%20sigma_single%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20value%3D2.0%2C%0A%20%20%20%20%20%20%20%20start%3D0.2%2C%0A%20%20%20%20%20%20%20%20stop%3D5.0%2C%0A%20%20%20%20%20%20%20%20step%3D0.1%2C%0A%20%20%20%20%20%20%20%20label%3D%22Standard%20deviation%20(sigma)%3A%22%2C%0A%20%20%20%20)%0A%20%20%20%20seed_single%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20value%3D7%2C%0A%20%20%20%20%20%20%20%20start%3D0%2C%0A%20%20%20%20%20%20%20%20stop%3D999%2C%0A%20%20%20%20%20%20%20%20step%3D1%2C%0A%20%20%20%20%20%20%20%20label%3D%22Random%20seed%3A%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20N_single%2C%20m_single%2C%20seed_single%2C%20sigma_single%0A%0A%0A%40app.cell%0Adef%20_(N_single%2C%20m_single%2C%20np%2C%20seed_single%2C%20sigma_single)%3A%0A%20%20%20%20rng_single%20%3D%20np.random.default_rng(seed_single.value)%0A%20%20%20%20sample_single%20%3D%20rng_single.normal(%0A%20%20%20%20%20%20%20%20loc%3Dm_single.value%2C%0A%20%20%20%20%20%20%20%20scale%3Dsigma_single.value%2C%0A%20%20%20%20%20%20%20%20size%3DN_single.value%2C%0A%20%20%20%20)%0A%20%20%20%20variance_estimate_single%20%3D%20np.mean((sample_single%20-%20m_single.value)%20**%202)%0A%20%20%20%20true_var_single%20%3D%20sigma_single.value**2%0A%20%20%20%20return%20sample_single%2C%20true_var_single%2C%20variance_estimate_single%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20N_single%2C%0A%20%20%20%20m_single%2C%0A%20%20%20%20np%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20sample_single%2C%0A%20%20%20%20sigma_single%2C%0A%20%20%20%20stats%2C%0A%20%20%20%20true_var_single%2C%0A%20%20%20%20variance_estimate_single%2C%0A)%3A%0A%20%20%20%20fig1%2C%20(ax_sample%2C%20ax_summary)%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(14%2C%204.5))%0A%0A%20%20%20%20x_grid%20%3D%20np.linspace(m_single.value%20-%204%20*%20sigma_single.value%2C%20m_single.value%20%2B%204%20*%20sigma_single.value%2C%20400)%0A%20%20%20%20normal_pdf%20%3D%20stats.norm.pdf(x_grid%2C%20loc%3Dm_single.value%2C%20scale%3Dsigma_single.value)%0A%0A%20%20%20%20ax_sample.hist(sample_single%2C%20bins%3D25%2C%20density%3DTrue%2C%20alpha%3D0.65%2C%20color%3D%22steelblue%22%2C%20edgecolor%3D%22black%22)%0A%20%20%20%20ax_sample.plot(x_grid%2C%20normal_pdf%2C%20color%3D%22red%22%2C%20linewidth%3D2.5%2C%20label%3D%22True%20normal%20PDF%22)%0A%20%20%20%20ax_sample.axvline(m_single.value%2C%20color%3D%22red%22%2C%20linestyle%3D%22--%22%2C%20linewidth%3D2%2C%20alpha%3D0.7%2C%20label%3D%22True%20mean%22)%0A%20%20%20%20ax_sample.set_title(f%22One%20IID%20Normal%20Sample%20(N%3D%7BN_single.value%7D)%22%2C%20fontsize%3D12%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20ax_sample.set_xlabel(%22x%22%2C%20fontsize%3D11)%0A%20%20%20%20ax_sample.set_ylabel(%22Density%22%2C%20fontsize%3D11)%0A%20%20%20%20ax_sample.legend(fontsize%3D9)%0A%20%20%20%20ax_sample.grid(True%2C%20alpha%3D0.3)%0A%20%20%20%20ax_sample.set_ylim(%5B0%2C%20np.max(normal_pdf)%20*%204%5D)%0A%0A%20%20%20%20labels%20%3D%20%5B%22True%20variance%22%2C%20%22Arithmetic-average%20estimate%22%5D%0A%20%20%20%20values%20%3D%20%5Btrue_var_single%2C%20variance_estimate_single%5D%0A%20%20%20%20colors%20%3D%20%5B%22red%22%2C%20%22steelblue%22%5D%0A%20%20%20%20ax_summary.bar(labels%2C%20values%2C%20color%3Dcolors%2C%20alpha%3D0.75%2C%20edgecolor%3D%22black%22)%0A%20%20%20%20ax_summary.set_title(%22Variance%20Estimate%22%2C%20fontsize%3D12%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20ax_summary.set_ylabel(%22Variance%22%2C%20fontsize%3D11)%0A%20%20%20%20ax_summary.grid(True%2C%20alpha%3D0.3%2C%20axis%3D%22y%22)%0A%20%20%20%20ax_summary.set_ylim(%5B0%2C%20true_var_single%20*%202%5D)%0A%0A%20%20%20%20plt.tight_layout()%0A%0A%20%20%20%20single_stats%20%3D%20f%22%22%22%0A%20%20%20%20**One-sample%20result%3A**%0A%20%20%20%20-%20True%20variance%20%24%5C%5Csigma_X%5E2%24%3A%20%7Btrue_var_single%3A.4f%7D%0A%20%20%20%20-%20Estimate%20%24%5C%5Cwidehat%7B%7B%5C%5Csigma%7D%7D_X%5E2%3D%5C%5Cfrac1N%5C%5Csum_i(x_i-m_X)%5E2%24%3A%20%7Bvariance_estimate_single%3A.4f%7D%0A%20%20%20%20%22%22%22%0A%20%20%20%20return%20fig1%2C%20single_stats%0A%0A%0A%40app.cell%0Adef%20_(N_single%2C%20fig1%2C%20m_single%2C%20mo%2C%20seed_single%2C%20sigma_single%2C%20single_stats)%3A%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.hstack(%5BN_single%2C%20m_single%2C%20sigma_single%2C%20seed_single%5D)%2C%0A%20%20%20%20%20%20%20%20mo.mpl.interactive(fig1)%2C%0A%20%20%20%20%20%20%20%20mo.md(single_stats)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%23%202.%20Sampling%20Distribution%20of%20the%20Variance%20Estimator%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20N_dist%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20value%3D20%2C%0A%20%20%20%20%20%20%20%20start%3D2%2C%0A%20%20%20%20%20%20%20%20stop%3D300%2C%0A%20%20%20%20%20%20%20%20step%3D1%2C%0A%20%20%20%20%20%20%20%20label%3D%22Sample%20size%20(N)%3A%22%2C%0A%20%20%20%20)%0A%20%20%20%20m_dist%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20value%3D0.0%2C%0A%20%20%20%20%20%20%20%20start%3D-5.0%2C%0A%20%20%20%20%20%20%20%20stop%3D5.0%2C%0A%20%20%20%20%20%20%20%20step%3D0.1%2C%0A%20%20%20%20%20%20%20%20label%3D%22Known%20mean%20(m_X)%3A%22%2C%0A%20%20%20%20)%0A%20%20%20%20sigma_dist%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20value%3D2.0%2C%0A%20%20%20%20%20%20%20%20start%3D0.2%2C%0A%20%20%20%20%20%20%20%20stop%3D5.0%2C%0A%20%20%20%20%20%20%20%20step%3D0.1%2C%0A%20%20%20%20%20%20%20%20label%3D%22Standard%20deviation%20(sigma)%3A%22%2C%0A%20%20%20%20)%0A%20%20%20%20num_reps_dist%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20value%3D10000%2C%0A%20%20%20%20%20%20%20%20start%3D1000%2C%0A%20%20%20%20%20%20%20%20stop%3D50000%2C%0A%20%20%20%20%20%20%20%20step%3D1000%2C%0A%20%20%20%20%20%20%20%20label%3D%22Number%20of%20repeated%20samples%3A%22%2C%0A%20%20%20%20)%0A%20%20%20%20seed_dist%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20value%3D42%2C%0A%20%20%20%20%20%20%20%20start%3D0%2C%0A%20%20%20%20%20%20%20%20stop%3D999%2C%0A%20%20%20%20%20%20%20%20step%3D1%2C%0A%20%20%20%20%20%20%20%20label%3D%22Random%20seed%3A%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20N_dist%2C%20m_dist%2C%20num_reps_dist%2C%20seed_dist%2C%20sigma_dist%0A%0A%0A%40app.cell%0Adef%20_(N_dist%2C%20m_dist%2C%20np%2C%20num_reps_dist%2C%20seed_dist%2C%20sigma_dist)%3A%0A%20%20%20%20rng_dist%20%3D%20np.random.default_rng(seed_dist.value)%0A%20%20%20%20samples_dist%20%3D%20rng_dist.normal(%0A%20%20%20%20%20%20%20%20loc%3Dm_dist.value%2C%0A%20%20%20%20%20%20%20%20scale%3Dsigma_dist.value%2C%0A%20%20%20%20%20%20%20%20size%3D(num_reps_dist.value%2C%20N_dist.value)%2C%0A%20%20%20%20)%0A%20%20%20%20variance_estimates%20%3D%20np.mean((samples_dist%20-%20m_dist.value)%20**%202%2C%20axis%3D1)%0A%0A%20%20%20%20true_var_dist%20%3D%20sigma_dist.value**2%0A%20%20%20%20df_dist%20%3D%20N_dist.value%0A%20%20%20%20mean_estimate_dist%20%3D%20np.mean(variance_estimates)%0A%20%20%20%20return%20df_dist%2C%20mean_estimate_dist%2C%20true_var_dist%2C%20variance_estimates%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20N_dist%2C%0A%20%20%20%20df_dist%2C%0A%20%20%20%20mean_estimate_dist%2C%0A%20%20%20%20np%2C%0A%20%20%20%20num_reps_dist%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20stats%2C%0A%20%20%20%20true_var_dist%2C%0A%20%20%20%20variance_estimates%2C%0A)%3A%0A%20%20%20%20fig2%2C%20(ax_var%2C%20ax_cdf)%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(14%2C%205))%0A%0A%20%20%20%20upper_var%20%3D%20stats.chi2.ppf(0.995%2C%20df%3Ddf_dist)%20*%20true_var_dist%20%2F%20N_dist.value%0A%20%20%20%20fixed_var_bins%20%3D%20np.linspace(0%2C%20upper_var%2C%2080)%0A%20%20%20%20x_var%20%3D%20np.linspace(0%2C%20upper_var%2C%20500)%0A%0A%20%20%20%20estimator_pdf%20%3D%20stats.chi2.pdf(N_dist.value%20*%20x_var%20%2F%20true_var_dist%2C%20df%3Ddf_dist)%20*%20N_dist.value%20%2F%20true_var_dist%0A%0A%20%20%20%20ax_var.hist(%0A%20%20%20%20%20%20%20%20variance_estimates%2C%0A%20%20%20%20%20%20%20%20bins%3Dfixed_var_bins%2C%0A%20%20%20%20%20%20%20%20density%3DTrue%2C%0A%20%20%20%20%20%20%20%20alpha%3D0.6%2C%0A%20%20%20%20%20%20%20%20color%3D%22steelblue%22%2C%0A%20%20%20%20%20%20%20%20edgecolor%3D%22black%22%2C%0A%20%20%20%20%20%20%20%20label%3Dr%22Empirical%20%24%5Cwidehat%7B%5Csigma%7D_X%5E2%24%22%2C%0A%20%20%20%20)%0A%20%20%20%20ax_var.plot(x_var%2C%20estimator_pdf%2C%20color%3D%22blue%22%2C%20linewidth%3D2.5%2C%20label%3Dr%22Chi-square%20theory%22)%0A%20%20%20%20ax_var.axvline(true_var_dist%2C%20color%3D%22red%22%2C%20linestyle%3D%22--%22%2C%20linewidth%3D2%2C%20alpha%3D0.8%2C%20label%3Dr%22True%20%24%5Csigma_X%5E2%24%22)%0A%20%20%20%20ax_var.set_title(f%22Sampling%20Distribution%20(N%3D%7BN_dist.value%7D%2C%20reps%3D%7Bnum_reps_dist.value%7D)%22%2C%20fontsize%3D12%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20ax_var.set_xlabel(%22Variance%20estimate%22%2C%20fontsize%3D11)%0A%20%20%20%20ax_var.set_ylabel(%22Density%22%2C%20fontsize%3D11)%0A%20%20%20%20ax_var.set_xlim(%5B0%2C%20upper_var%5D)%0A%20%20%20%20ax_var.legend(fontsize%3D9)%0A%20%20%20%20ax_var.grid(True%2C%20alpha%3D0.3)%0A%0A%20%20%20%20sorted_estimates%20%3D%20np.sort(variance_estimates)%0A%20%20%20%20empirical_probs%20%3D%20np.arange(1%2C%20num_reps_dist.value%20%2B%201)%20%2F%20num_reps_dist.value%0A%20%20%20%20estimator_cdf%20%3D%20stats.chi2.cdf(N_dist.value%20*%20x_var%20%2F%20true_var_dist%2C%20df%3Ddf_dist)%0A%0A%20%20%20%20ax_cdf.step(sorted_estimates%2C%20empirical_probs%2C%20where%3D%22post%22%2C%20color%3D%22steelblue%22%2C%20linewidth%3D2%2C%20label%3Dr%22Empirical%20%24%5Cwidehat%7B%5Csigma%7D_X%5E2%24%22)%0A%20%20%20%20ax_cdf.plot(x_var%2C%20estimator_cdf%2C%20color%3D%22blue%22%2C%20linewidth%3D2.5%2C%20label%3D%22Chi-square%20theory%22)%0A%20%20%20%20ax_cdf.axvline(true_var_dist%2C%20color%3D%22red%22%2C%20linestyle%3D%22--%22%2C%20linewidth%3D2%2C%20alpha%3D0.8%2C%20label%3Dr%22True%20%24%5Csigma_X%5E2%24%22)%0A%20%20%20%20ax_cdf.set_title(%22CDF%20Comparison%22%2C%20fontsize%3D12%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20ax_cdf.set_xlabel(%22Variance%20estimate%22%2C%20fontsize%3D11)%0A%20%20%20%20ax_cdf.set_ylabel(%22Cumulative%20Probability%22%2C%20fontsize%3D11)%0A%20%20%20%20ax_cdf.set_xlim(%5B0%2C%20upper_var%5D)%0A%20%20%20%20ax_cdf.set_ylim(%5B0%2C%201%5D)%0A%20%20%20%20ax_cdf.legend(fontsize%3D9)%0A%20%20%20%20ax_cdf.grid(True%2C%20alpha%3D0.3)%0A%0A%20%20%20%20plt.tight_layout()%0A%0A%20%20%20%20dist_stats%20%3D%20f%22%22%22%0A%20%20%20%20**Across%20repeated%20samples%3A**%0A%20%20%20%20-%20True%20variance%20%24%5C%5Csigma_X%5E2%24%3A%20%7Btrue_var_dist%3A.4f%7D%0A%20%20%20%20-%20Mean%20of%20variance%20estimates%3A%20%7Bmean_estimate_dist%3A.4f%7D%0A%20%20%20%20-%20Theoretical%20expectation%3A%20%24%5C%5Cmathbb%7B%7BE%7D%7D%5B%5C%5Cwidehat%7B%7B%5C%5CSigma%7D%7D_X%5E2%5D%3D%5C%5Csigma_X%5E2%3D%7Btrue_var_dist%3A.4f%7D%24%0A%20%20%20%20-%20Chi-square%20degrees%20of%20freedom%3A%20%7Bdf_dist%7D%0A%20%20%20%20%22%22%22%0A%20%20%20%20return%20dist_stats%2C%20fig2%0A%0A%0A%40app.cell%0Adef%20_(N_dist%2C%20dist_stats%2C%20fig2%2C%20mo%2C%20num_reps_dist%2C%20seed_dist%2C%20sigma_dist)%3A%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.hstack(%5BN_dist%2C%20sigma_dist%2C%20num_reps_dist%2C%20seed_dist%5D)%2C%0A%20%20%20%20%20%20%20%20mo.mpl.interactive(fig2)%2C%0A%20%20%20%20%20%20%20%20mo.md(dist_stats)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Key%20Takeaways%0A%0A%20%20%20%201.%20With%20known%20mean%20%24m_X%24%2C%20the%20variance%20estimator%20is%20the%20arithmetic%20average%20of%20squared%20deviations%3A%0A%20%20%20%20%20%20%20%24%5Cwidehat%7B%5CSigma%7D_X%5E2%3D%5Cfrac%7B1%7D%7BN%7D%5Csum_%7Bi%3D1%7D%5EN(X_i-m_X)%5E2.%24%0A%0A%20%20%20%202.%20For%20normal%20samples%2C%20the%20scaled%20estimator%20follows%20a%20chi-square%20distribution%3A%0A%20%20%20%20%20%20%20%24%5Cfrac%7BN%5Cwidehat%7B%5CSigma%7D_X%5E2%7D%7B%5Csigma_X%5E2%7D%20%5Csim%20%5Cchi%5E2_N.%24%0A%0A%20%20%20%203.%20The%20estimator%20is%20unbiased%3A%20%24%5Cmathbb%7BE%7D%5B%5Cwidehat%7B%5CSigma%7D_X%5E2%5D%20%3D%20%5Csigma_X%5E2.%24%0A%0A%20%20%20%204.%20As%20%24N%24%20grows%2C%20the%20estimator%20concentrates%20near%20the%20true%20variance.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A