bernoulli crb interactive

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.11%22%0A%23%20dependencies%20%3D%20%5B%22marimo%3E%3D0.23.9%22%2C%20%22matplotlib%3D%3D3.10.8%22%2C%20%22numpy%3D%3D2.4.3%22%5D%0A%23%20%0A%23%20%5Btool.marimo.export%5D%0A%23%20lock_kind%20%3D%20%22resolved%22%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.23.13%22%0Aapp%20%3D%20marimo.App()%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%20%20%20%20import%20numpy%20as%20np%0A%0A%20%20%20%20plt.style.use(%22default%22)%0A%20%20%20%20return%20mo%2C%20np%2C%20plt%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Cramer-Rao%20Bound%20for%20a%20Bernoulli%20Success%20Probability%0A%0A%20%20%20%20We%20observe%20%24N%24%20independent%20Bernoulli%20random%20variables%0A%20%20%20%20%24X_1%2C%5Cldots%2CX_N%20%5Cin%20%5C%7B0%2C1%5C%7D%24%20with%0A%20%20%20%20%24%24%0A%20%20%20%20%5Cmathbb%7BP%7D(X_i%3D1%5Cmid%20%5Cphi)%3D%5Cphi%2C%5Cqquad%0A%20%20%20%20%5Cmathbb%7BP%7D(X_i%3D0%5Cmid%20%5Cphi)%3D1-%5Cphi%20.%0A%20%20%20%20%24%24%0A%20%20%20%20The%20unknown%20deterministic%20parameter%20is%20the%20success%20probability%20%24%5Cphi%24.%0A%20%20%20%20The%20natural%20estimator%20is%20the%20relative%20frequency%0A%20%20%20%20%24%24%0A%20%20%20%20%5Cwidehat%7B%5CPhi%7D%0A%20%20%20%20%3D%20%5Cwidehat%7BM%7D_X%0A%20%20%20%20%3D%20%5Cfrac%7B1%7D%7BN%7D%5Csum_%7Bi%3D1%7D%5E%7BN%7D%20X_i%20.%0A%20%20%20%20%24%24%0A%20%20%20%20Since%20%24%5Cmathbb%7BE%7D%5C%7B%5Cwidehat%7B%5CPhi%7D%5C%7D%3D%5Cphi%24%2C%20the%20estimator%20has%20**no%20bias**%3A%0A%20%20%20%20%24b(%5Cphi)%3D0%24.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20phi%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D0.02%2C%0A%20%20%20%20%20%20%20%20stop%3D0.98%2C%0A%20%20%20%20%20%20%20%20step%3D0.01%2C%0A%20%20%20%20%20%20%20%20value%3D0.30%2C%0A%20%20%20%20%20%20%20%20label%3D%22true%20parameter%20phi%22%2C%0A%20%20%20%20)%0A%20%20%20%20N%20%3D%20mo.ui.slider(start%3D5%2C%20stop%3D300%2C%20step%3D5%2C%20value%3D50%2C%20label%3D%22sample%20size%20N%22)%0A%20%20%20%20trials%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D200%2C%0A%20%20%20%20%20%20%20%20stop%3D5000%2C%0A%20%20%20%20%20%20%20%20step%3D200%2C%0A%20%20%20%20%20%20%20%20value%3D2000%2C%0A%20%20%20%20%20%20%20%20label%3D%22Monte%20Carlo%20repetitions%22%2C%0A%20%20%20%20)%0A%20%20%20%20seed%20%3D%20mo.ui.slider(start%3D0%2C%20stop%3D999%2C%20step%3D1%2C%20value%3D11%2C%20label%3D%22random%20seed%22)%0A%20%20%20%20return%20N%2C%20phi%2C%20seed%2C%20trials%0A%0A%0A%40app.cell%0Adef%20_(N%2C%20np%2C%20phi%2C%20seed%2C%20trials)%3A%0A%20%20%20%20rng%20%3D%20np.random.default_rng(int(seed.value))%0A%20%20%20%20n%20%3D%20int(N.value)%0A%20%20%20%20true_phi%20%3D%20float(phi.value)%0A%20%20%20%20mc_count%20%3D%20int(trials.value)%0A%0A%20%20%20%20samples%20%3D%20rng.binomial(n%2C%20true_phi%2C%20size%3Dmc_count)%20%2F%20n%0A%20%20%20%20empirical_mean%20%3D%20float(samples.mean())%0A%20%20%20%20empirical_bias%20%3D%20empirical_mean%20-%20true_phi%0A%20%20%20%20empirical_var%20%3D%20float(samples.var(ddof%3D1))%0A%0A%20%20%20%20single_fisher_information%20%3D%201%20%2F%20(true_phi%20*%20(1%20-%20true_phi))%0A%20%20%20%20fisher_information%20%3D%20n%20%2F%20(true_phi%20*%20(1%20-%20true_phi))%0A%20%20%20%20crb%20%3D%201%20%2F%20fisher_information%0A%20%20%20%20exact_var%20%3D%20true_phi%20*%20(1%20-%20true_phi)%20%2F%20n%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20crb%2C%0A%20%20%20%20%20%20%20%20empirical_bias%2C%0A%20%20%20%20%20%20%20%20empirical_mean%2C%0A%20%20%20%20%20%20%20%20empirical_var%2C%0A%20%20%20%20%20%20%20%20exact_var%2C%0A%20%20%20%20%20%20%20%20fisher_information%2C%0A%20%20%20%20%20%20%20%20n%2C%0A%20%20%20%20%20%20%20%20samples%2C%0A%20%20%20%20%20%20%20%20single_fisher_information%2C%0A%20%20%20%20%20%20%20%20true_phi%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Likelihood%2C%20score%2C%20and%20Fisher%20information%0A%0A%20%20%20%20For%20one%20observation%20%24X%5Cin%5C%7B0%2C1%5C%7D%24%2C%20the%20likelihood%20as%20a%20function%20of%20the%0A%20%20%20%20candidate%20parameter%20%24%5Cphi%24%20has%20only%20two%20possible%20shapes%3A%0A%20%20%20%20%24%24%0A%20%20%20%20f_%7BX%5Cmid%5CPhi%7D(1%5Cmid%5Cphi)%3D%5Cphi%2C%0A%20%20%20%20%5Cqquad%0A%20%20%20%20f_%7BX%5Cmid%5CPhi%7D(0%5Cmid%5Cphi)%3D1-%5Cphi%20.%0A%20%20%20%20%24%24%0A%20%20%20%20The%20score%20function%20is%20the%20derivative%20of%20the%20log-likelihood%2C%0A%20%20%20%20%24%24%0A%20%20%20%20S(x%3B%5Cphi)%0A%20%20%20%20%3D%20%5Cfrac%7B%5Cpartial%7D%7B%5Cpartial%20%5Cphi%7D%5Clog%20f_%7BX%5Cmid%5CPhi%7D(x%5Cmid%5Cphi).%0A%20%20%20%20%24%24%0A%20%20%20%20Therefore%0A%20%20%20%20%24%24%0A%20%20%20%20S(1%3B%5Cphi)%3D%5Cfrac%7B1%7D%7B%5Cphi%7D%2C%0A%20%20%20%20%5Cqquad%0A%20%20%20%20S(0%3B%5Cphi)%3D-%5Cfrac%7B1%7D%7B1-%5Cphi%7D.%0A%20%20%20%20%24%24%0A%20%20%20%20At%20the%20true%20parameter%2C%20the%20score%20has%20zero%20mean%3A%0A%20%20%20%20%24%5Cmathbb%7BE%7D%5C%7BS(X%3B%5Cphi)%5C%7D%3D0%24.%20Fisher%20information%20is%20the%20average%20squared%20score%2C%0A%20%20%20%20weighted%20by%20the%20true%20probabilities%20of%20the%20two%20possible%20outcomes%3A%0A%0A%20%20%20%20%24%24%0A%20%20%20%20J_1(%5Cphi)%20%3D%20%5Cmathbb%7BE%7D%5C%7BS(X%3B%5Cphi)%5E2%5C%7D%20%3D%20(1-%5Cphi)%5Cfrac%7B1%7D%7B(1-%5Cphi)%5E2%7D%20%2B%20%5Cphi%5Cfrac%7B1%7D%7B%5Cphi%5E2%7D%20%3D%20%5Cfrac%7B1%7D%7B%5Cphi(1-%5Cphi)%7D%20.%0A%20%20%20%20%24%24%0A%0A%20%20%20%20Intuitively%2C%20%24J(%5Cphi)%24%20measures%20how%20strongly%20the%20log-likelihood%20reacts%20to%20small%0A%20%20%20%20changes%20of%20%24%5Cphi%24.%20A%20large%20average%20squared%20slope%20means%20the%20data%20distinguish%20nearby%0A%20%20%20%20parameter%20values%20well.%20For%20%24N%24%20independent%20observations%20the%20information%20adds%3A%0A%20%20%20%20%24J_N(%5Cphi)%3DN%20J_1(%5Cphi)%24.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20phi)%3A%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Bphi%5D)%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(np%2C%20plt%2C%20single_fisher_information%2C%20true_phi)%3A%0A%20%20%20%20eps%20%3D%201e-4%0A%20%20%20%20grid%20%3D%20np.linspace(eps%2C%201%20-%20eps%2C%20800)%0A%0A%20%20%20%20like_x1%20%3D%20grid%0A%20%20%20%20like_x0%20%3D%201%20-%20grid%0A%20%20%20%20log_like_x1%20%3D%20np.log(grid)%0A%20%20%20%20log_like_x0%20%3D%20np.log1p(-grid)%0A%20%20%20%20score_x1%20%3D%201%20%2F%20grid%0A%20%20%20%20score_x0%20%3D%20-1%20%2F%20(1%20-%20grid)%0A%20%20%20%20score2_x1%20%3D%20score_x1**2%0A%20%20%20%20score2_x0%20%3D%20score_x0**2%0A%0A%20%20%20%20s2_x1_true%20%3D%201%20%2F%20true_phi**2%0A%20%20%20%20s2_x0_true%20%3D%201%20%2F%20(1%20-%20true_phi)%20**%202%0A%20%20%20%20weighted_fisher%20%3D%20true_phi%20*%20s2_x1_true%20%2B%20(1%20-%20true_phi)%20*%20s2_x0_true%0A%0A%20%20%20%20fig_likelihood%2C%20axes%20%3D%20plt.subplots(2%2C%202%2C%20figsize%3D(12.5%2C%208.2)%2C%20sharex%3DTrue)%0A%20%20%20%20ax_l%2C%20ax_log%2C%20ax_s%2C%20ax_s2%20%3D%20axes.ravel()%0A%0A%20%20%20%20for%20ax%20in%20axes.ravel()%3A%0A%20%20%20%20%20%20%20%20ax.axvline(true_phi%2C%20color%3D%22%2316a34a%22%2C%20lw%3D1.6%2C%20ls%3D%22--%22%2C%20label%3Drf%22true%20%24%5Cphi%3D%7Btrue_phi%3A.2f%7D%24%22)%0A%20%20%20%20%20%20%20%20ax.set_xlim(0%2C%201)%0A%20%20%20%20%20%20%20%20ax.grid(alpha%3D0.3)%0A%20%20%20%20%20%20%20%20ax.spines%5B%5B%22top%22%2C%20%22right%22%5D%5D.set_visible(False)%0A%0A%20%20%20%20ax_l.plot(grid%2C%20like_x1%2C%20color%3D%22%232563eb%22%2C%20lw%3D2.4%2C%20label%3Dr%22%24x%3D1%24%3A%20%24f(1%5Cmid%5Cphi)%3D%5Cphi%24%22)%0A%20%20%20%20ax_l.plot(grid%2C%20like_x0%2C%20color%3D%22%23f97316%22%2C%20lw%3D2.4%2C%20label%3Dr%22%24x%3D0%24%3A%20%24f(0%5Cmid%5Cphi)%3D1-%5Cphi%24%22)%0A%20%20%20%20ax_l.set_title(%22Likelihood%20for%20one%20Bernoulli%20observation%22%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20ax_l.set_ylabel(%22likelihood%22)%0A%20%20%20%20ax_l.set_ylim(0%2C%201.05)%0A%20%20%20%20ax_l.legend(fontsize%3D9)%0A%0A%20%20%20%20ax_log.plot(grid%2C%20log_like_x1%2C%20color%3D%22%232563eb%22%2C%20lw%3D2.4%2C%20label%3Dr%22%24x%3D1%24%3A%20%24%5Clog%20%5Cphi%24%22)%0A%20%20%20%20ax_log.plot(grid%2C%20log_like_x0%2C%20color%3D%22%23f97316%22%2C%20lw%3D2.4%2C%20label%3Dr%22%24x%3D0%24%3A%20%24%5Clog(1-%5Cphi)%24%22)%0A%20%20%20%20ax_log.set_title(%22Log-likelihood%22%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20ax_log.set_ylabel(%22log-likelihood%22)%0A%20%20%20%20ax_log.set_ylim(max(-7.0%2C%20float(np.nanmin(%5Blog_like_x0%2C%20log_like_x1%5D)))%2C%200.15)%0A%20%20%20%20ax_log.legend(fontsize%3D9)%0A%0A%20%20%20%20score_ylim%20%3D%20min(30.0%2C%20max(8.0%2C%201.25%20*%20max(1%20%2F%20true_phi%2C%201%20%2F%20(1%20-%20true_phi))))%0A%20%20%20%20ax_s.plot(grid%2C%20score_x1%2C%20color%3D%22%232563eb%22%2C%20lw%3D2.4%2C%20label%3Dr%22%24x%3D1%24%3A%20%241%2F%5Cphi%24%22)%0A%20%20%20%20ax_s.plot(grid%2C%20score_x0%2C%20color%3D%22%23f97316%22%2C%20lw%3D2.4%2C%20label%3Dr%22%24x%3D0%24%3A%20%24-1%2F(1-%5Cphi)%24%22)%0A%20%20%20%20ax_s.axhline(0%2C%20color%3D%22black%22%2C%20lw%3D1)%0A%20%20%20%20ax_s.plot(%5Btrue_phi%5D%2C%20%5B1%20%2F%20true_phi%5D%2C%20%22o%22%2C%20color%3D%22%232563eb%22%2C%20ms%3D6)%0A%20%20%20%20ax_s.plot(%5Btrue_phi%5D%2C%20%5B-1%20%2F%20(1%20-%20true_phi)%5D%2C%20%22o%22%2C%20color%3D%22%23f97316%22%2C%20ms%3D6)%0A%20%20%20%20ax_s.set_title(%22Score%3A%20slope%20of%20the%20log-likelihood%22%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20ax_s.set_xlabel(r%22candidate%20parameter%20%24%5Cphi%24%22)%0A%20%20%20%20ax_s.set_ylabel(%22score%22)%0A%20%20%20%20ax_s.set_ylim(-score_ylim%2C%20score_ylim)%0A%20%20%20%20ax_s.legend(fontsize%3D9)%0A%0A%20%20%20%20s2_ylim%20%3D%20min(80.0%2C%20max(12.0%2C%201.25%20*%20max(s2_x1_true%2C%20s2_x0_true%2C%20single_fisher_information)))%0A%20%20%20%20ax_s2.plot(grid%2C%20score2_x1%2C%20color%3D%22%232563eb%22%2C%20lw%3D2.4%2C%20label%3Dr%22%24x%3D1%24%3A%20%241%2F%5Cphi%5E2%24%22)%0A%20%20%20%20ax_s2.plot(grid%2C%20score2_x0%2C%20color%3D%22%23f97316%22%2C%20lw%3D2.4%2C%20label%3Dr%22%24x%3D0%24%3A%20%241%2F(1-%5Cphi)%5E2%24%22)%0A%20%20%20%20ax_s2.plot(%5Btrue_phi%5D%2C%20%5Bs2_x1_true%5D%2C%20%22o%22%2C%20color%3D%22%232563eb%22%2C%20ms%3D6)%0A%20%20%20%20ax_s2.plot(%5Btrue_phi%5D%2C%20%5Bs2_x0_true%5D%2C%20%22o%22%2C%20color%3D%22%23f97316%22%2C%20ms%3D6)%0A%20%20%20%20ax_s2.axhline(weighted_fisher%2C%20color%3D%22%237c3aed%22%2C%20lw%3D2.0%2C%20ls%3D%22%3A%22%2C%20label%3Drf%22weighted%20sum%20%24J_1%3D%7Bweighted_fisher%3A.2f%7D%24%22)%0A%20%20%20%20ax_s2.set_title(%22Squared%20score%20and%20Fisher%20information%22%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20ax_s2.set_xlabel(r%22candidate%20parameter%20%24%5Cphi%24%22)%0A%20%20%20%20ax_s2.set_ylabel(%22squared%20score%22)%0A%20%20%20%20ax_s2.set_ylim(0%2C%20s2_ylim)%0A%20%20%20%20ax_s2.legend(fontsize%3D9)%0A%0A%20%20%20%20fig_likelihood.suptitle(%0A%20%20%20%20%20%20%20%20rf%22One%20observation%3A%20%24J_1(%5Cphi)%3D%5Cphi%20S(1%3B%5Cphi)%5E2%2B(1-%5Cphi)S(0%3B%5Cphi)%5E2%3D%7Bweighted_fisher%3A.2f%7D%24%22%2C%0A%20%20%20%20%20%20%20%20fontweight%3D%22bold%22%2C%0A%20%20%20%20)%0A%20%20%20%20plt.tight_layout(rect%3D%5B0%2C%200%2C%201%2C%200.96%5D)%0A%20%20%20%20return%20(fig_likelihood%2C)%0A%0A%0A%40app.cell%0Adef%20_(fig_likelihood%2C%20mo)%3A%0A%20%20%20%20mo.mpl.interactive(fig_likelihood)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20crb%2C%0A%20%20%20%20empirical_bias%2C%0A%20%20%20%20empirical_mean%2C%0A%20%20%20%20empirical_var%2C%0A%20%20%20%20exact_var%2C%0A%20%20%20%20fisher_information%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20n%2C%0A%20%20%20%20true_phi%2C%0A)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20rf%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20The%20CRB%20for%20the%20unbiased%20relative%20frequency%0A%0A%20%20%20%20%20%20%20%20The%20scalar%20Cramer-Rao%20bound%20in%20the%20unbiased%20case%20is%0A%20%20%20%20%20%20%20%20%24%24%0A%20%20%20%20%20%20%20%20%5Coperatorname%7B%7BVar%7D%7D(%5Cwidehat%7B%7B%5CPhi%7D%7D)%0A%20%20%20%20%20%20%20%20%5Cgeq%20%5Cfrac%7B%7B1%7D%7D%7B%7BJ(%5Cphi)%7D%7D%20.%0A%20%20%20%20%20%20%20%20%24%24%0A%20%20%20%20%20%20%20%20For%20Bernoulli%20observations%20this%20becomes%0A%20%20%20%20%20%20%20%20%24%24%0A%20%20%20%20%20%20%20%20%5Coperatorname%7B%7BVar%7D%7D(%5Cwidehat%7B%7B%5CPhi%7D%7D)%0A%20%20%20%20%20%20%20%20%5Cgeq%20%5Cfrac%7B%7B%5Cphi(1-%5Cphi)%7D%7D%7B%7BN%7D%7D%20.%0A%20%20%20%20%20%20%20%20%24%24%0A%20%20%20%20%20%20%20%20The%20relative-frequency%20estimator%20reaches%20the%20bound%20exactly%2C%20because%0A%20%20%20%20%20%20%20%20%24%24%0A%20%20%20%20%20%20%20%20%5Coperatorname%7B%7BVar%7D%7D(%5Cwidehat%7B%7B%5CPhi%7D%7D)%0A%20%20%20%20%20%20%20%20%3D%20%5Coperatorname%7B%7BVar%7D%7D%5C!%5Cleft(%5Cfrac1N%5Csum_i%20X_i%5Cright)%0A%20%20%20%20%20%20%20%20%3D%20%5Cfrac%7B%7B%5Cphi(1-%5Cphi)%7D%7D%7B%7BN%7D%7D%20.%0A%20%20%20%20%20%20%20%20%24%24%0A%0A%20%20%20%20%20%20%20%20For%20the%20current%20setting%2C%20%24N%3D%7Bn%7D%24%20and%20%24%5Cphi%3D%7Btrue_phi%3A.2f%7D%24%3A%0A%20%20%20%20%20%20%20%20%24J(%5Cphi)%3D%7Bfisher_information%3A.2f%7D%24%2C%20so%0A%20%20%20%20%20%20%20%20%24%5Cmathrm%7B%7BCRB%7D%7D%3D1%2FJ(%5Cphi)%3D%7Bcrb%3A.6f%7D%24.%0A%0A%20%20%20%20%20%20%20%20Monte%20Carlo%20check%3A%0A%20%20%20%20%20%20%20%20%24%5Cmathbb%7B%7BE%7D%7D(%5Cwidehat%7B%7B%5CPhi%7D%7D)%5Capprox%20%7Bempirical_mean%3A.4f%7D%24%2C%0A%20%20%20%20%20%20%20%20empirical%20bias%20%24%5Capprox%20%7Bempirical_bias%3A%2B.4f%7D%24%2C%0A%20%20%20%20%20%20%20%20empirical%20variance%20%24%5Capprox%20%7Bempirical_var%3A.6f%7D%24%2C%0A%20%20%20%20%20%20%20%20exact%20variance%20%24%3D%20%7Bexact_var%3A.6f%7D%24.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(crb%2C%20empirical_var%2C%20n%2C%20np%2C%20plt%2C%20samples%2C%20true_phi)%3A%0A%20%20%20%20bins%20%3D%20np.linspace(-0.5%20%2F%20n%2C%201%20%2B%200.5%20%2F%20n%2C%20min(n%20%2B%202%2C%2060))%0A%20%20%20%20phis%20%3D%20np.linspace(0.001%2C%200.999%2C%20800)%0A%20%20%20%20crb_curve%20%3D%20phis%20*%20(1%20-%20phis)%20%2F%20n%0A%20%20%20%20fisher_curve%20%3D%20n%20%2F%20(phis%20*%20(1%20-%20phis))%0A%0A%20%20%20%20fig_crb%2C%20(ax_mc%2C%20ax_curve)%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(13%2C%204.6))%0A%0A%20%20%20%20ax_mc.hist(samples%2C%20bins%3Dbins%2C%20density%3DTrue%2C%20color%3D%22%232563eb%22%2C%20alpha%3D0.28%2C%20edgecolor%3D%22white%22)%0A%20%20%20%20ax_mc.axvline(true_phi%2C%20color%3D%22%2316a34a%22%2C%20lw%3D1.8%2C%20ls%3D%22--%22%2C%20label%3Drf%22true%20%24%5Cphi%3D%7Btrue_phi%3A.2f%7D%24%22)%0A%20%20%20%20ax_mc.set_title(r%22Repeated%20estimates%20of%20%24%5Cwidehat%7B%5CPhi%7D%24%22%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20ax_mc.set_xlabel(r%22estimate%20%24%5Cwidehat%7B%5Cphi%7D%24%22)%0A%20%20%20%20ax_mc.set_ylabel(%22density%22)%0A%20%20%20%20ax_mc.set_xlim(0%2C%201)%0A%20%20%20%20ax_mc.grid(alpha%3D0.3)%0A%20%20%20%20ax_mc.legend(fontsize%3D9)%0A%20%20%20%20ax_mc.spines%5B%5B%22top%22%2C%20%22right%22%5D%5D.set_visible(False)%0A%20%20%20%20ax_mc.text(%0A%20%20%20%20%20%20%20%200.03%2C%0A%20%20%20%20%20%20%20%200.95%2C%0A%20%20%20%20%20%20%20%20rf%22empirical%20variance%20%24%5Capprox%20%7Bempirical_var%3A.5f%7D%24%22%20%22%5Cn%22%20rf%22CRB%20%24%3D%20%7Bcrb%3A.5f%7D%24%22%2C%0A%20%20%20%20%20%20%20%20transform%3Dax_mc.transAxes%2C%0A%20%20%20%20%20%20%20%20va%3D%22top%22%2C%0A%20%20%20%20%20%20%20%20fontsize%3D10%2C%0A%20%20%20%20%20%20%20%20bbox%3D%7B%22boxstyle%22%3A%20%22round%2Cpad%3D0.25%22%2C%20%22facecolor%22%3A%20%22white%22%2C%20%22edgecolor%22%3A%20%22%23d1d5db%22%2C%20%22alpha%22%3A%200.9%7D%2C%0A%20%20%20%20)%0A%0A%20%20%20%20ax_curve.plot(phis%2C%20crb_curve%2C%20color%3D%22%23dc2626%22%2C%20lw%3D2.5%2C%20label%3Drf%22%24%5Cphi(1-%5Cphi)%2FN%24%2C%20%20%24N%3D%7Bn%7D%24%22)%0A%20%20%20%20ax_curve.fill_between(phis%2C%20crb_curve%2C%20color%3D%22%23dc2626%22%2C%20alpha%3D0.10)%0A%20%20%20%20ax_curve.axvline(true_phi%2C%20color%3D%22%2316a34a%22%2C%20lw%3D1.8%2C%20ls%3D%22--%22)%0A%20%20%20%20ax_curve.plot(%5Btrue_phi%5D%2C%20%5Bcrb%5D%2C%20%22o%22%2C%20color%3D%22%23dc2626%22%2C%20ms%3D7)%0A%20%20%20%20ax_curve.set_title(%22The%20bound%20depends%20on%20the%20true%20parameter%22%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20ax_curve.set_xlabel(r%22true%20parameter%20%24%5Cphi%24%22)%0A%20%20%20%20ax_curve.set_ylabel(r%22minimum%20variance%20of%20any%20unbiased%20estimator%22)%0A%20%20%20%20ax_curve.set_xlim(0%2C%201)%0A%20%20%20%20ax_curve.set_ylim(0%2C%20max(crb_curve)%20*%201.08)%0A%20%20%20%20ax_curve.grid(alpha%3D0.3)%0A%20%20%20%20ax_curve.legend(fontsize%3D9%2C%20loc%3D%22upper%20center%22)%0A%20%20%20%20ax_curve.spines%5B%5B%22top%22%2C%20%22right%22%5D%5D.set_visible(False)%0A%0A%20%20%20%20ax_fisher%20%3D%20ax_curve.twinx()%0A%20%20%20%20ax_fisher.plot(phis%2C%20fisher_curve%2C%20color%3D%22%237c3aed%22%2C%20lw%3D1.5%2C%20alpha%3D0.55%2C%20ls%3D%22%3A%22%2C%20label%3Dr%22%24J(%5Cphi)%24%22)%0A%20%20%20%20ax_fisher.set_ylabel(r%22Fisher%20information%20%24J(%5Cphi)%24%22)%0A%20%20%20%20ax_fisher.set_ylim(0%2C%20min(np.nanpercentile(fisher_curve%2C%2092)%2C%20fisher_curve.max()))%0A%20%20%20%20ax_fisher.spines%5B%22top%22%5D.set_visible(False)%0A%20%20%20%20ax_fisher.legend(fontsize%3D9%2C%20loc%3D%22lower%20center%22)%0A%0A%20%20%20%20plt.tight_layout()%0A%20%20%20%20return%20(fig_crb%2C)%0A%0A%0A%40app.cell%0Adef%20_(N%2C%20mo%2C%20phi%2C%20seed%2C%20trials)%3A%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Bphi%2C%20N%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Btrials%2C%20seed%5D)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(fig_crb%2C%20mo)%3A%0A%20%20%20%20mo.mpl.interactive(fig_crb)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20What%20to%20take%20away%0A%0A%20%20%20%20For%20Bernoulli%20data%2C%20the%20CRB%20is%20not%20a%20single%20number%20independent%20of%20the%20problem%3A%0A%20%20%20%20%24%24%0A%20%20%20%20%5Cmathrm%7BCRB%7D(%5Cphi%2CN)%3D%5Cfrac%7B%5Cphi(1-%5Cphi)%7D%7BN%7D.%0A%20%20%20%20%24%24%0A%20%20%20%20The%20bound%20is%20largest%20at%20%24%5Cphi%3D0.5%24%2C%20where%20Bernoulli%20outcomes%20are%20most%20variable.%0A%20%20%20%20It%20is%20smaller%20near%20%24%5Cphi%3D0%24%20or%20%24%5Cphi%3D1%24%2C%20where%20the%20observations%20are%20almost%0A%20%20%20%20deterministic%20and%20nearby%20parameter%20values%20are%20easier%20to%20separate.%20Increasing%20%24N%24%0A%20%20%20%20adds%20Fisher%20information%20linearly%20and%20therefore%20reduces%20the%20variance%20bound%20as%0A%20%20%20%20%241%2FN%24.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A