multi observation lmmse interactive

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.11%22%0A%23%20dependencies%20%3D%20%5B%22marimo%3E%3D0.23.9%22%2C%20%22matplotlib%3D%3D3.10.8%22%2C%20%22numpy%3D%3D2.4.3%22%5D%0A%23%20%0A%23%20%5Btool.marimo.export%5D%0A%23%20lock_kind%20%3D%20%22resolved%22%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.25.1%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%20%20%20%20import%20numpy%20as%20np%0A%0A%20%20%20%20plt.style.use(%22default%22)%0A%0A%20%20%20%20C_TRUE%20%3D%20%22%23238b45%22%0A%20%20%20%20C_LMMSE%20%3D%20%22%23e76f51%22%0A%20%20%20%20C_NAIVE%20%3D%20%22%23277da1%22%0A%20%20%20%20C_PRIOR%20%3D%20%22%236b7280%22%0A%20%20%20%20C_GAIN%20%3D%20%22%23f4a261%22%0A%20%20%20%20C_SENSOR%20%3D%20%22%23577590%22%0A%20%20%20%20MAX_SENSORS%20%3D%208%0A%20%20%20%20N_TRIALS%20%3D%205000%0A%20%20%20%20SIGNAL_VARIANCE%20%3D%201.0%0A%0A%20%20%20%20QUALITY_PATTERNS%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22equal-quality%20array%22%3A%20np.ones(MAX_SENSORS)%2C%0A%20%20%20%20%20%20%20%20%22mixed-quality%20array%22%3A%20np.array(%5B0.55%2C%200.80%2C%201.05%2C%201.35%2C%201.70%2C%202.10%2C%202.55%2C%203.00%5D)%2C%0A%20%20%20%20%20%20%20%20%22one%20excellent%2C%20then%20weaker%22%3A%20np.array(%5B0.35%2C%201.15%2C%201.25%2C%201.35%2C%201.50%2C%201.70%2C%201.90%2C%202.15%5D)%2C%0A%20%20%20%20%20%20%20%20%22better%20sensors%20arrive%20later%22%3A%20np.array(%5B1.80%2C%201.50%2C%201.25%2C%201.05%2C%200.88%2C%200.73%2C%200.60%2C%200.48%5D)%2C%0A%20%20%20%20%7D%0A%0A%20%20%20%20_rng%20%3D%20np.random.default_rng(20260805)%0A%20%20%20%20BASE_SIGNAL%20%3D%20_rng.normal(size%3DN_TRIALS)%0A%20%20%20%20BASE_COMMON_NOISE%20%3D%20_rng.normal(size%3DN_TRIALS)%0A%20%20%20%20BASE_PRIVATE_NOISE%20%3D%20_rng.normal(size%3D(MAX_SENSORS%2C%20N_TRIALS))%0A%0A%0A%20%20%20%20def%20lmmse_solution(sigmas%2C%20rho)%3A%0A%20%20%20%20%20%20%20%20sigmas%20%3D%20np.asarray(sigmas%2C%20dtype%3Dfloat)%0A%20%20%20%20%20%20%20%20count%20%3D%20sigmas.size%0A%20%20%20%20%20%20%20%20ones%20%3D%20np.ones(count)%0A%20%20%20%20%20%20%20%20noise_cov%20%3D%20(1.0%20-%20rho)%20*%20np.diag(sigmas**2)%20%2B%20rho%20*%20np.outer(sigmas%2C%20sigmas)%0A%20%20%20%20%20%20%20%20observation_cov%20%3D%20SIGNAL_VARIANCE%20*%20np.outer(ones%2C%20ones)%20%2B%20noise_cov%0A%20%20%20%20%20%20%20%20cross_cov%20%3D%20SIGNAL_VARIANCE%20*%20ones%0A%20%20%20%20%20%20%20%20weights%20%3D%20np.linalg.solve(observation_cov%2C%20cross_cov)%0A%20%20%20%20%20%20%20%20mse%20%3D%20SIGNAL_VARIANCE%20-%20float(cross_cov%20%40%20weights)%0A%20%20%20%20%20%20%20%20naive_weights%20%3D%20ones%20%2F%20count%0A%20%20%20%20%20%20%20%20naive_mse%20%3D%20float(naive_weights%20%40%20noise_cov%20%40%20naive_weights)%0A%20%20%20%20%20%20%20%20obs_scale%20%3D%20np.sqrt(np.diag(observation_cov))%0A%20%20%20%20%20%20%20%20obs_corr%20%3D%20observation_cov%20%2F%20np.outer(obs_scale%2C%20obs_scale)%0A%20%20%20%20%20%20%20%20return%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22noise_cov%22%3A%20noise_cov%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22observation_cov%22%3A%20observation_cov%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22observation_corr%22%3A%20obs_corr%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22cross_cov%22%3A%20cross_cov%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22weights%22%3A%20weights%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22mse%22%3A%20max(mse%2C%200.0)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22naive_weights%22%3A%20naive_weights%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22naive_mse%22%3A%20naive_mse%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22normal_residual%22%3A%20cross_cov%20-%20observation_cov%20%40%20weights%2C%0A%20%20%20%20%20%20%20%20%7D%0A%0A%0A%20%20%20%20def%20kde_1d(values%2C%20grid)%3A%0A%20%20%20%20%20%20%20%20values%20%3D%20np.asarray(values%2C%20dtype%3Dfloat)%0A%20%20%20%20%20%20%20%20scale%20%3D%20max(float(values.std(ddof%3D1))%2C%200.05)%0A%20%20%20%20%20%20%20%20bandwidth%20%3D%20max(1.06%20*%20scale%20*%20values.size%20**%20(-0.2)%2C%200.04)%0A%20%20%20%20%20%20%20%20offsets%20%3D%20(grid%5B%3A%2C%20None%5D%20-%20values%5BNone%2C%20%3A%5D)%20%2F%20bandwidth%0A%20%20%20%20%20%20%20%20return%20np.exp(-0.5%20*%20offsets**2).mean(axis%3D1)%20%2F%20(bandwidth%20*%20np.sqrt(2%20*%20np.pi))%0A%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20BASE_COMMON_NOISE%2C%0A%20%20%20%20%20%20%20%20BASE_PRIVATE_NOISE%2C%0A%20%20%20%20%20%20%20%20BASE_SIGNAL%2C%0A%20%20%20%20%20%20%20%20C_GAIN%2C%0A%20%20%20%20%20%20%20%20C_LMMSE%2C%0A%20%20%20%20%20%20%20%20C_NAIVE%2C%0A%20%20%20%20%20%20%20%20C_PRIOR%2C%0A%20%20%20%20%20%20%20%20C_SENSOR%2C%0A%20%20%20%20%20%20%20%20C_TRUE%2C%0A%20%20%20%20%20%20%20%20MAX_SENSORS%2C%0A%20%20%20%20%20%20%20%20N_TRIALS%2C%0A%20%20%20%20%20%20%20%20QUALITY_PATTERNS%2C%0A%20%20%20%20%20%20%20%20SIGNAL_VARIANCE%2C%0A%20%20%20%20%20%20%20%20kde_1d%2C%0A%20%20%20%20%20%20%20%20lmmse_solution%2C%0A%20%20%20%20%20%20%20%20mo%2C%0A%20%20%20%20%20%20%20%20np%2C%0A%20%20%20%20%20%20%20%20plt%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Many%20Sensors%2C%20One%20Hidden%20Signal%0A%0A%20%20%20%20%23%23%20Why%20more%20observations%20can%20only%20help%E2%80%94and%20sometimes%20barely%20help%0A%0A%20%20%20%20A%20hidden%20scalar%20signal%20%24Y%24%20is%20measured%20by%20several%20sensors%2C%0A%0A%20%20%20%20%24%24X_k%20%3D%20Y%20%2B%20N_k%2C%20%5Cqquad%20k%3D1%2C%5Cldots%2CN.%24%24%0A%0A%20%20%20%20The%20sensors%20may%20have%20different%20noise%20levels%2C%20and%20part%20of%20their%20noise%20may%20be%20shared.%20We%20estimate%20the%20**same%20one%20random%20variable**%20from%20all%20observations%20at%20once%3A%0A%0A%20%20%20%20%24%24%5Cwidehat%20Y%20%3D%20%5Cmathbf%20w%5E%5Cmathsf%7BT%7D%5Cmathbf%20X%2C%0A%20%20%20%20%5Cqquad%0A%20%20%20%20%5Cmathbf%20R_%7BXX%7D%5Cmathbf%20w%20%3D%20%5Cmathbf%20r_%7BXY%7D.%24%24%0A%0A%20%20%20%20This%20notebook%20makes%20three%20abstract%20claims%20concrete%3A%0A%0A%20%20%20%201.%20adding%20an%20observation%20cannot%20increase%20the%20optimal%20MSE%3B%0A%20%20%20%202.%20correlated%20sensors%20carry%20redundant%20information%2C%20so%20improvement%20can%20plateau%3B%0A%20%20%20%203.%20at%20the%20optimum%2C%20the%20residual%20is%20orthogonal%20to%20every%20observation.%0A%0A%20%20%20%20%3E%20The%20Gaussian%20simulation%20makes%20the%20pictures%20familiar%2C%20but%20the%20LMMSE%20weights%20and%20conclusions%20use%20only%20second%20moments.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%201.%20Fuse%20one%20actual%20set%20of%20readings%0A%0A%20%20%20%20We%20use%20%24Y%5Csim%5Cmathcal%20N(0%2C1)%24%20and%20sensor-noise%20covariance%0A%0A%20%20%20%20%24%24%0A%20%20%20%20%5B%5Cmathbf%20R_N%5D_%7Bij%7D%3D%0A%20%20%20%20%5Cbegin%7Bcases%7D%0A%20%20%20%20%5Csigma_i%5E2%2C%20%26%20i%3Dj%2C%5C%5C%0A%20%20%20%20%5Crho%5C%2C%5Csigma_i%5Csigma_j%2C%20%26%20i%5Cne%20j.%0A%20%20%20%20%5Cend%7Bcases%7D%0A%20%20%20%20%24%24%0A%0A%20%20%20%20Thus%20%24%0A%20%20%20%20ho%3D0%24%20gives%20independent%20sensors%2C%20while%20large%20%24%0A%20%20%20%20ho%24%20creates%20a%20common%20disturbance%20that%20averaging%20cannot%20remove.%20Choose%20the%20number%20of%20sensors%2C%20their%20quality%20pattern%2C%20the%20overall%20noise%20scale%2C%20and%20one%20simulated%20trial.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(MAX_SENSORS%2C%20QUALITY_PATTERNS%2C%20mo)%3A%0A%20%20%20%20sensor_count%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D1%2C%0A%20%20%20%20%20%20%20%20stop%3DMAX_SENSORS%2C%0A%20%20%20%20%20%20%20%20step%3D1%2C%0A%20%20%20%20%20%20%20%20value%3D6%2C%0A%20%20%20%20%20%20%20%20label%3D%22number%20of%20sensors%20%20N%22%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20quality_profile%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3Dlist(QUALITY_PATTERNS)%2C%0A%20%20%20%20%20%20%20%20value%3D%22mixed-quality%20array%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22sensor-quality%20pattern%22%2C%0A%20%20%20%20)%0A%20%20%20%20noise_scale%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D0.25%2C%0A%20%20%20%20%20%20%20%20stop%3D2.5%2C%0A%20%20%20%20%20%20%20%20step%3D0.05%2C%0A%20%20%20%20%20%20%20%20value%3D1.0%2C%0A%20%20%20%20%20%20%20%20label%3D%22overall%20noise%20scale%22%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20noise_correlation%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D0.0%2C%0A%20%20%20%20%20%20%20%20stop%3D0.95%2C%0A%20%20%20%20%20%20%20%20step%3D0.05%2C%0A%20%20%20%20%20%20%20%20value%3D0.65%2C%0A%20%20%20%20%20%20%20%20label%3D%22shared-noise%20correlation%20%20%CF%81%22%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20trial_index%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D0%2C%0A%20%20%20%20%20%20%20%20stop%3D999%2C%0A%20%20%20%20%20%20%20%20step%3D1%2C%0A%20%20%20%20%20%20%20%20value%3D17%2C%0A%20%20%20%20%20%20%20%20label%3D%22simulated%20trial%22%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20show_naive%20%3D%20mo.ui.checkbox(value%3DTrue%2C%20label%3D%22compare%20with%20the%20unweighted%20average%22)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20noise_correlation%2C%0A%20%20%20%20%20%20%20%20noise_scale%2C%0A%20%20%20%20%20%20%20%20quality_profile%2C%0A%20%20%20%20%20%20%20%20sensor_count%2C%0A%20%20%20%20%20%20%20%20show_naive%2C%0A%20%20%20%20%20%20%20%20trial_index%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20mo%2C%0A%20%20%20%20noise_correlation%2C%0A%20%20%20%20noise_scale%2C%0A%20%20%20%20quality_profile%2C%0A%20%20%20%20sensor_count%2C%0A%20%20%20%20show_naive%2C%0A%20%20%20%20trial_index%2C%0A)%3A%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Bsensor_count%2C%20quality_profile%2C%20trial_index%5D%2C%20widths%3D%22equal%22%2C%20gap%3D1.1)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Bnoise_scale%2C%20noise_correlation%5D%2C%20widths%3D%22equal%22%2C%20gap%3D1.1)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20show_naive%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20gap%3D0.8%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20BASE_COMMON_NOISE%2C%0A%20%20%20%20BASE_PRIVATE_NOISE%2C%0A%20%20%20%20BASE_SIGNAL%2C%0A%20%20%20%20MAX_SENSORS%2C%0A%20%20%20%20N_TRIALS%2C%0A%20%20%20%20QUALITY_PATTERNS%2C%0A%20%20%20%20SIGNAL_VARIANCE%2C%0A%20%20%20%20lmmse_solution%2C%0A%20%20%20%20noise_correlation%2C%0A%20%20%20%20noise_scale%2C%0A%20%20%20%20np%2C%0A%20%20%20%20quality_profile%2C%0A%20%20%20%20sensor_count%2C%0A%20%20%20%20trial_index%2C%0A)%3A%0A%20%20%20%20_count%20%3D%20int(sensor_count.value)%0A%20%20%20%20_profile_name%20%3D%20quality_profile.value%0A%20%20%20%20_rho%20%3D%20float(noise_correlation.value)%0A%20%20%20%20_scale%20%3D%20float(noise_scale.value)%0A%20%20%20%20_trial%20%3D%20int(trial_index.value)%0A%20%20%20%20_sigmas_all%20%3D%20_scale%20*%20QUALITY_PATTERNS%5B_profile_name%5D%0A%20%20%20%20_common_part%20%3D%20np.sqrt(_rho)%20*%20BASE_COMMON_NOISE%5BNone%2C%20%3A%5D%0A%20%20%20%20_private_part%20%3D%20np.sqrt(1.0%20-%20_rho)%20*%20BASE_PRIVATE_NOISE%0A%20%20%20%20_noise_all%20%3D%20_sigmas_all%5B%3A%2C%20None%5D%20*%20(_common_part%20%2B%20_private_part)%0A%20%20%20%20_observations_all%20%3D%20BASE_SIGNAL%5BNone%2C%20%3A%5D%20%2B%20_noise_all%0A%20%20%20%20_sigmas%20%3D%20_sigmas_all%5B%3A_count%5D%0A%20%20%20%20_observations%20%3D%20_observations_all%5B%3A_count%5D%0A%20%20%20%20_solution%20%3D%20lmmse_solution(_sigmas%2C%20_rho)%0A%20%20%20%20_weights%20%3D%20_solution%5B%22weights%22%5D%0A%20%20%20%20_estimates%20%3D%20_weights%20%40%20_observations%0A%20%20%20%20_naive_estimates%20%3D%20_observations.mean(axis%3D0)%0A%20%20%20%20_residual%20%3D%20BASE_SIGNAL%20-%20_estimates%0A%20%20%20%20_naive_residual%20%3D%20BASE_SIGNAL%20-%20_naive_estimates%0A%0A%20%20%20%20_mse_curve%20%3D%20np.empty(MAX_SENSORS)%0A%20%20%20%20_independent_curve%20%3D%20np.empty(MAX_SENSORS)%0A%20%20%20%20_naive_curve%20%3D%20np.empty(MAX_SENSORS)%0A%20%20%20%20_weight_sums%20%3D%20np.empty(MAX_SENSORS)%0A%20%20%20%20for%20_m%20in%20range(1%2C%20MAX_SENSORS%20%2B%201)%3A%0A%20%20%20%20%20%20%20%20_sol_m%20%3D%20lmmse_solution(_sigmas_all%5B%3A_m%5D%2C%20_rho)%0A%20%20%20%20%20%20%20%20_sol_ind_m%20%3D%20lmmse_solution(_sigmas_all%5B%3A_m%5D%2C%200.0)%0A%20%20%20%20%20%20%20%20_mse_curve%5B_m%20-%201%5D%20%3D%20_sol_m%5B%22mse%22%5D%0A%20%20%20%20%20%20%20%20_independent_curve%5B_m%20-%201%5D%20%3D%20_sol_ind_m%5B%22mse%22%5D%0A%20%20%20%20%20%20%20%20_naive_curve%5B_m%20-%201%5D%20%3D%20_sol_m%5B%22naive_mse%22%5D%0A%20%20%20%20%20%20%20%20_weight_sums%5B_m%20-%201%5D%20%3D%20_sol_m%5B%22weights%22%5D.sum()%0A%20%20%20%20_mse_gains%20%3D%20np.r_%5BSIGNAL_VARIANCE%20-%20_mse_curve%5B0%5D%2C%20_mse_curve%5B%3A-1%5D%20-%20_mse_curve%5B1%3A%5D%5D%0A%0A%20%20%20%20_first_solution%20%3D%20lmmse_solution(_sigmas_all%5B%3A1%5D%2C%20_rho)%0A%20%20%20%20_first_estimates%20%3D%20_first_solution%5B%22weights%22%5D%20%40%20_observations_all%5B%3A1%5D%0A%20%20%20%20_first_residual%20%3D%20BASE_SIGNAL%20-%20_first_estimates%0A%20%20%20%20_sample_opt_cov%20%3D%20_observations%20%40%20_residual%20%2F%20N_TRIALS%0A%20%20%20%20_sample_naive_cov%20%3D%20_observations%20%40%20_naive_residual%20%2F%20N_TRIALS%0A%20%20%20%20_obs_sample_sd%20%3D%20_observations.std(axis%3D1%2C%20ddof%3D0)%0A%20%20%20%20_opt_resid_sd%20%3D%20max(float(_residual.std(ddof%3D0))%2C%201e-12)%0A%20%20%20%20_naive_resid_sd%20%3D%20max(float(_naive_residual.std(ddof%3D0))%2C%201e-12)%0A%20%20%20%20_sample_opt_corr%20%3D%20_sample_opt_cov%20%2F%20(_obs_sample_sd%20*%20_opt_resid_sd)%0A%20%20%20%20_sample_naive_corr%20%3D%20_sample_naive_cov%20%2F%20(_obs_sample_sd%20*%20_naive_resid_sd)%0A%0A%20%20%20%20fusion%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22count%22%3A%20_count%2C%0A%20%20%20%20%20%20%20%20%22profile_name%22%3A%20_profile_name%2C%0A%20%20%20%20%20%20%20%20%22rho%22%3A%20_rho%2C%0A%20%20%20%20%20%20%20%20%22scale%22%3A%20_scale%2C%0A%20%20%20%20%20%20%20%20%22trial%22%3A%20_trial%2C%0A%20%20%20%20%20%20%20%20%22sigmas_all%22%3A%20_sigmas_all%2C%0A%20%20%20%20%20%20%20%20%22sigmas%22%3A%20_sigmas%2C%0A%20%20%20%20%20%20%20%20%22observations%22%3A%20_observations%2C%0A%20%20%20%20%20%20%20%20%22trial_readings%22%3A%20_observations%5B%3A%2C%20_trial%5D%2C%0A%20%20%20%20%20%20%20%20%22truth%22%3A%20float(BASE_SIGNAL%5B_trial%5D)%2C%0A%20%20%20%20%20%20%20%20%22estimate%22%3A%20float(_estimates%5B_trial%5D)%2C%0A%20%20%20%20%20%20%20%20%22naive_estimate%22%3A%20float(_naive_estimates%5B_trial%5D)%2C%0A%20%20%20%20%20%20%20%20%22solution%22%3A%20_solution%2C%0A%20%20%20%20%20%20%20%20%22mse_curve%22%3A%20_mse_curve%2C%0A%20%20%20%20%20%20%20%20%22independent_curve%22%3A%20_independent_curve%2C%0A%20%20%20%20%20%20%20%20%22naive_curve%22%3A%20_naive_curve%2C%0A%20%20%20%20%20%20%20%20%22mse_gains%22%3A%20_mse_gains%2C%0A%20%20%20%20%20%20%20%20%22weight_sums%22%3A%20_weight_sums%2C%0A%20%20%20%20%20%20%20%20%22residual%22%3A%20_residual%2C%0A%20%20%20%20%20%20%20%20%22first_residual%22%3A%20_first_residual%2C%0A%20%20%20%20%20%20%20%20%22naive_residual%22%3A%20_naive_residual%2C%0A%20%20%20%20%20%20%20%20%22sample_opt_corr%22%3A%20_sample_opt_corr%2C%0A%20%20%20%20%20%20%20%20%22sample_naive_corr%22%3A%20_sample_naive_corr%2C%0A%20%20%20%20%20%20%20%20%22empirical_mse%22%3A%20float(np.mean(_residual**2))%2C%0A%20%20%20%20%20%20%20%20%22empirical_naive_mse%22%3A%20float(np.mean(_naive_residual**2))%2C%0A%20%20%20%20%7D%0A%20%20%20%20return%20(fusion%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20C_LMMSE%2C%0A%20%20%20%20C_NAIVE%2C%0A%20%20%20%20C_PRIOR%2C%0A%20%20%20%20C_SENSOR%2C%0A%20%20%20%20C_TRUE%2C%0A%20%20%20%20fusion%2C%0A%20%20%20%20np%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20show_naive%2C%0A)%3A%0A%20%20%20%20_data%20%3D%20fusion%0A%20%20%20%20_indices%20%3D%20np.arange(1%2C%20_data%5B%22count%22%5D%20%2B%201)%0A%20%20%20%20_readings%20%3D%20_data%5B%22trial_readings%22%5D%0A%20%20%20%20_weights%20%3D%20_data%5B%22solution%22%5D%5B%22weights%22%5D%0A%20%20%20%20_snapshot_fig%2C%20(_ax_read%2C%20_ax_weight)%20%3D%20plt.subplots(%0A%20%20%20%20%20%20%20%201%2C%0A%20%20%20%20%20%20%20%202%2C%0A%20%20%20%20%20%20%20%20figsize%3D(12.8%2C%204.6)%2C%0A%20%20%20%20%20%20%20%20gridspec_kw%3D%7B%22width_ratios%22%3A%20%5B1.45%2C%201.0%5D%2C%20%22wspace%22%3A%200.28%7D%2C%0A%20%20%20%20)%0A%0A%20%20%20%20_ax_read.errorbar(%0A%20%20%20%20%20%20%20%20_indices%2C%0A%20%20%20%20%20%20%20%20_readings%2C%0A%20%20%20%20%20%20%20%20yerr%3D_data%5B%22sigmas%22%5D%2C%0A%20%20%20%20%20%20%20%20fmt%3D%22o%22%2C%0A%20%20%20%20%20%20%20%20ms%3D7%2C%0A%20%20%20%20%20%20%20%20color%3DC_SENSOR%2C%0A%20%20%20%20%20%20%20%20ecolor%3D%22%2394a3b8%22%2C%0A%20%20%20%20%20%20%20%20elinewidth%3D2.0%2C%0A%20%20%20%20%20%20%20%20capsize%3D4%2C%0A%20%20%20%20%20%20%20%20label%3Dr%22readings%20%24X_k%24%20with%20marginal%20%24%5Csigma_k%24%22%2C%0A%20%20%20%20)%0A%20%20%20%20_ax_read.axhline(_data%5B%22truth%22%5D%2C%20color%3DC_TRUE%2C%20lw%3D2.8%2C%20label%3Drf%22hidden%20truth%20%20%24Y%3D%7B_data%5B'truth'%5D%3A.2f%7D%24%22)%0A%20%20%20%20_ax_read.axhline(%0A%20%20%20%20%20%20%20%20_data%5B%22estimate%22%5D%2C%0A%20%20%20%20%20%20%20%20color%3DC_LMMSE%2C%0A%20%20%20%20%20%20%20%20lw%3D2.8%2C%0A%20%20%20%20%20%20%20%20ls%3D%22--%22%2C%0A%20%20%20%20%20%20%20%20label%3Drf%22LMMSE%20%20%24%5Cwidehat%20Y%3D%7B_data%5B'estimate'%5D%3A.2f%7D%24%22%2C%0A%20%20%20%20)%0A%20%20%20%20if%20show_naive.value%3A%0A%20%20%20%20%20%20%20%20_ax_read.axhline(%0A%20%20%20%20%20%20%20%20%20%20%20%20_data%5B%22naive_estimate%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3DC_NAIVE%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20lw%3D2.1%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20ls%3D(0%2C%20(4%2C%202))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20label%3Drf%22average%20%20%24%5Coverline%7B%7BX%7D%7D%3D%7B_data%5B'naive_estimate'%5D%3A.2f%7D%24%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20_ax_read.axhline(0%2C%20color%3DC_PRIOR%2C%20lw%3D1.1%2C%20alpha%3D0.7)%0A%20%20%20%20_ax_read.set_xticks(_indices)%0A%20%20%20%20_ax_read.set_xlabel(%22sensor%20index%20%20%24k%24%22)%0A%20%20%20%20_ax_read.set_ylabel(%22signal%20value%22)%0A%20%20%20%20_ax_read.set_title(f%22One%20trial%3A%20%7B_data%5B'count'%5D%7D%20noisy%20views%20of%20the%20same%20%24Y%24%22%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20_ax_read.grid(alpha%3D0.22)%0A%20%20%20%20_ax_read.legend(frameon%3DFalse%2C%20fontsize%3D9%2C%20loc%3D%22best%22)%0A%0A%20%20%20%20_bar_colors%20%3D%20%5Bplt.cm.Blues(0.48%20%2B%200.46%20*%20(1.0%20-%20_sigma%20%2F%20_data%5B%22sigmas%22%5D.max()))%20for%20_sigma%20in%20_data%5B%22sigmas%22%5D%5D%0A%20%20%20%20_ax_weight.bar(_indices%2C%20_weights%2C%20color%3D_bar_colors%2C%20edgecolor%3D%22white%22%2C%20linewidth%3D0.8)%0A%20%20%20%20_ax_weight.axhline(0%2C%20color%3D%22%23334155%22%2C%20lw%3D1.0)%0A%20%20%20%20for%20_idx%2C%20_weight%2C%20_sigma%20in%20zip(_indices%2C%20_weights%2C%20_data%5B%22sigmas%22%5D)%3A%0A%20%20%20%20%20%20%20%20_offset%20%3D%205%20if%20_weight%20%3E%3D%200%20else%20-14%0A%20%20%20%20%20%20%20%20_va%20%3D%20%22bottom%22%20if%20_weight%20%3E%3D%200%20else%20%22top%22%0A%20%20%20%20%20%20%20%20_ax_weight.annotate(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B_weight%3A%2B.2f%7D%5Cn%CF%83%3D%7B_sigma%3A.2f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20xy%3D(_idx%2C%20_weight)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20xytext%3D(0%2C%20_offset)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20textcoords%3D%22offset%20points%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20ha%3D%22center%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20va%3D_va%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20fontsize%3D8%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20_weight_low%20%3D%20min(float(_weights.min())%2C%200.0)%0A%20%20%20%20_weight_high%20%3D%20max(float(_weights.max())%2C%200.0)%0A%20%20%20%20_weight_span%20%3D%20max(_weight_high%20-%20_weight_low%2C%200.2)%0A%20%20%20%20_ax_weight.set_ylim(_weight_low%20-%200.20%20*%20_weight_span%2C%20_weight_high%20%2B%200.22%20*%20_weight_span)%0A%20%20%20%20_ax_weight.set_xticks(_indices)%0A%20%20%20%20_ax_weight.set_xlabel(%22sensor%20index%20%20%24k%24%22)%0A%20%20%20%20_ax_weight.set_ylabel(r%22optimal%20weight%20%20%24w_k%24%22)%0A%20%20%20%20_ax_weight.set_title(%0A%20%20%20%20%20%20%20%20rf%22Normal-equation%20weights%20%20(%24%5Csum_k%20w_k%3D%7B_weights.sum()%3A.2f%7D%24)%22%2C%0A%20%20%20%20%20%20%20%20fontweight%3D%22bold%22%2C%0A%20%20%20%20)%0A%20%20%20%20_ax_weight.grid(axis%3D%22y%22%2C%20alpha%3D0.22)%0A%0A%20%20%20%20_snapshot_fig.suptitle(%0A%20%20%20%20%20%20%20%20rf%22%24%5Crho%3D%7B_data%5B'rho'%5D%3A.2f%7D%24%3A%20precision%20and%20redundancy%20both%20determine%20trust%22%2C%0A%20%20%20%20%20%20%20%20fontsize%3D14%2C%0A%20%20%20%20%20%20%20%20fontweight%3D%22bold%22%2C%0A%20%20%20%20%20%20%20%20y%3D1.01%2C%0A%20%20%20%20)%0A%20%20%20%20plt.close(_snapshot_fig)%0A%20%20%20%20snapshot_figure%20%3D%20_snapshot_fig%0A%20%20%20%20snapshot_figure%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(fusion%2C%20mo%2C%20np)%3A%0A%20%20%20%20_stats%20%3D%20fusion%0A%20%20%20%20_solution_stats%20%3D%20_stats%5B%22solution%22%5D%0A%20%20%20%20_truth_error%20%3D%20_stats%5B%22estimate%22%5D%20-%20_stats%5B%22truth%22%5D%0A%20%20%20%20_naive_truth_error%20%3D%20_stats%5B%22naive_estimate%22%5D%20-%20_stats%5B%22truth%22%5D%0A%20%20%20%20_negative_weights%20%3D%20int(np.sum(_solution_stats%5B%22weights%22%5D%20%3C%20-1e-10))%0A%20%20%20%20if%20_negative_weights%3A%0A%20%20%20%20%20%20%20%20_weight_note%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**%7B_negative_weights%7D%20weight(s)%20are%20negative.**%20With%20unequal%20sensor%20scales%20and%20shared%20noise%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22a%20sensor%20can%20be%20useful%20mainly%20for%20cancelling%20the%20common%20disturbance.%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_weight_note%20%3D%20%22All%20current%20weights%20are%20nonnegative%3B%20the%20inverse%20covariance%20still%20discounts%20their%20shared%20information.%22%0A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20fr%22%22%22%0A%20%20%20%20%23%23%23%20Current%20numerical%20result%0A%0A%20%20%20%20%7C%20quantity%20%7C%20value%20%7C%0A%20%20%20%20%7C---%7C---%3A%7C%0A%20%20%20%20%7C%20hidden%20%24Y%24%20in%20trial%20%7B_stats%5B'trial'%5D%7D%20%7C%20**%7B_stats%5B'truth'%5D%3A%2B.3f%7D**%20%7C%0A%20%20%20%20%7C%20LMMSE%20estimate%20%7C%20**%7B_stats%5B'estimate'%5D%3A%2B.3f%7D**%20(error%20%7B_truth_error%3A%2B.3f%7D)%20%7C%0A%20%20%20%20%7C%20unweighted%20average%20%7C%20%7B_stats%5B'naive_estimate'%5D%3A%2B.3f%7D%20(error%20%7B_naive_truth_error%3A%2B.3f%7D)%20%7C%0A%20%20%20%20%7C%20exact%20optimal%20MSE%20%7C%20**%7B_solution_stats%5B'mse'%5D%3A.4f%7D**%20%7C%0A%20%20%20%20%7C%20average-estimator%20MSE%20%7C%20%7B_solution_stats%5B'naive_mse'%5D%3A.4f%7D%20%7C%0A%20%20%20%20%7C%20largest%20normal-equation%20residual%20%24%7C%5Cmathbf%20r_%7B%7BXY%7D%7D-%5Cmathbf%20R_%7B%7BXX%7D%7D%5Cmathbf%20w%7C%24%20%7C%20%7Bnp.max(np.abs(_solution_stats%5B'normal_residual'%5D))%3A.2e%7D%20%7C%0A%0A%20%20%20%20%7B_weight_note%7D%0A%0A%20%20%20%20The%20weights%20need%20not%20sum%20to%20one%3A%20because%20%24Y%24%20is%20random%20with%20prior%20mean%20zero%2C%20LMMSE%20also%20**shrinks**%20uncertain%20evidence%20toward%20zero.%20As%20the%20sensors%20become%20accurate%2C%20the%20sum%20approaches%20one.%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%202.%20Add%20observations%20and%20watch%20the%20error%20fall%0A%0A%20%20%20%20For%20each%20%24m%3D1%2C%5Cldots%2C8%24%2C%20solve%20the%20normal%20equations%20again%20using%20only%20the%20first%20%24m%24%20sensors.%20The%20exact%20error%20is%0A%0A%20%20%20%20%24%24J_m%20%3D%20%5Csigma_Y%5E2-%5Cmathbf%20r_%7BXY%2Cm%7D%5E%7B%5Cmathsf%20T%7D%5Cmathbf%20R_%7BXX%2Cm%7D%5E%7B-1%7D%5Cmathbf%20r_%7BXY%2Cm%7D.%24%24%0A%0A%20%20%20%20The%20feasible%20estimator%20space%20for%20%24m%24%20sensors%20is%20contained%20in%20the%20space%20for%20%24m%2B1%24%3A%20the%20new%20optimum%20can%20always%20assign%20weight%20zero%20to%20the%20extra%20sensor.%20Therefore%20%24J_%7Bm%2B1%7D%5Cle%20J_m%24%E2%80%94even%20when%20the%20new%20sensor%20is%20poor%20or%20mostly%20redundant.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20C_GAIN%2C%0A%20%20%20%20C_LMMSE%2C%0A%20%20%20%20C_NAIVE%2C%0A%20%20%20%20C_PRIOR%2C%0A%20%20%20%20C_TRUE%2C%0A%20%20%20%20MAX_SENSORS%2C%0A%20%20%20%20SIGNAL_VARIANCE%2C%0A%20%20%20%20fusion%2C%0A%20%20%20%20np%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20show_naive%2C%0A)%3A%0A%20%20%20%20_mse_data%20%3D%20fusion%0A%20%20%20%20_sensor_numbers%20%3D%20np.arange(1%2C%20MAX_SENSORS%20%2B%201)%0A%20%20%20%20_mse_fig%2C%20(_ax_mse%2C%20_ax_gain)%20%3D%20plt.subplots(%0A%20%20%20%20%20%20%20%201%2C%0A%20%20%20%20%20%20%20%202%2C%0A%20%20%20%20%20%20%20%20figsize%3D(12.8%2C%204.45)%2C%0A%20%20%20%20%20%20%20%20gridspec_kw%3D%7B%22width_ratios%22%3A%20%5B1.5%2C%201.0%5D%2C%20%22wspace%22%3A%200.28%7D%2C%0A%20%20%20%20)%0A%0A%20%20%20%20_ax_mse.plot(%0A%20%20%20%20%20%20%20%20_sensor_numbers%2C%0A%20%20%20%20%20%20%20%20_mse_data%5B%22mse_curve%22%5D%2C%0A%20%20%20%20%20%20%20%20color%3DC_LMMSE%2C%0A%20%20%20%20%20%20%20%20marker%3D%22o%22%2C%0A%20%20%20%20%20%20%20%20lw%3D2.8%2C%0A%20%20%20%20%20%20%20%20label%3Drf%22current%20shared%20noise%20%20%24%5Crho%3D%7B_mse_data%5B'rho'%5D%3A.2f%7D%24%22%2C%0A%20%20%20%20)%0A%20%20%20%20_ax_mse.plot(%0A%20%20%20%20%20%20%20%20_sensor_numbers%2C%0A%20%20%20%20%20%20%20%20_mse_data%5B%22independent_curve%22%5D%2C%0A%20%20%20%20%20%20%20%20color%3DC_TRUE%2C%0A%20%20%20%20%20%20%20%20marker%3D%22s%22%2C%0A%20%20%20%20%20%20%20%20ms%3D5%2C%0A%20%20%20%20%20%20%20%20lw%3D2.1%2C%0A%20%20%20%20%20%20%20%20ls%3D%22--%22%2C%0A%20%20%20%20%20%20%20%20label%3Dr%22same%20sensors%2C%20independent%20noise%20%20%24%5Crho%3D0%24%22%2C%0A%20%20%20%20)%0A%20%20%20%20if%20show_naive.value%3A%0A%20%20%20%20%20%20%20%20_ax_mse.plot(%0A%20%20%20%20%20%20%20%20%20%20%20%20_sensor_numbers%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_mse_data%5B%22naive_curve%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3DC_NAIVE%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20lw%3D1.8%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20ls%3D(0%2C%20(3%2C%202))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22unweighted%20average%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20_ax_mse.axhline(SIGNAL_VARIANCE%2C%20color%3DC_PRIOR%2C%20lw%3D1.2%2C%20ls%3D%22%3A%22%2C%20label%3D%22no%20observations%22)%0A%20%20%20%20_ax_mse.scatter(%0A%20%20%20%20%20%20%20%20%5B_mse_data%5B%22count%22%5D%5D%2C%0A%20%20%20%20%20%20%20%20%5B_mse_data%5B%22mse_curve%22%5D%5B_mse_data%5B%22count%22%5D%20-%201%5D%5D%2C%0A%20%20%20%20%20%20%20%20s%3D130%2C%0A%20%20%20%20%20%20%20%20facecolor%3D%22none%22%2C%0A%20%20%20%20%20%20%20%20edgecolor%3D%22%23111827%22%2C%0A%20%20%20%20%20%20%20%20linewidth%3D2.0%2C%0A%20%20%20%20%20%20%20%20zorder%3D5%2C%0A%20%20%20%20)%0A%20%20%20%20_ax_mse.set_xticks(_sensor_numbers)%0A%20%20%20%20_ax_mse.set_ylim(bottom%3D0)%0A%20%20%20%20_ax_mse.set_xlabel(%22number%20of%20observations%20%20%24m%24%22)%0A%20%20%20%20_ax_mse.set_ylabel(%22theoretical%20mean-square%20error%20%20%24J_m%24%22)%0A%20%20%20%20_ax_mse.set_title(%22Optimal%20MSE%20never%20rises%22%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20_ax_mse.grid(alpha%3D0.22)%0A%20%20%20%20_ax_mse.legend(frameon%3DFalse%2C%20fontsize%3D8.8%2C%20loc%3D%22best%22)%0A%0A%20%20%20%20_extra_numbers%20%3D%20_sensor_numbers%5B1%3A%5D%0A%20%20%20%20_extra_gains%20%3D%20_mse_data%5B%22mse_gains%22%5D%5B1%3A%5D%0A%20%20%20%20_gain_colors%20%3D%20%5BC_LMMSE%20if%20number%20%3D%3D%20_mse_data%5B%22count%22%5D%20else%20C_GAIN%20for%20number%20in%20_extra_numbers%5D%0A%20%20%20%20_ax_gain.bar(_extra_numbers%2C%20_extra_gains%2C%20color%3D_gain_colors%2C%20edgecolor%3D%22white%22)%0A%20%20%20%20_ax_gain.axhline(0%2C%20color%3D%22%23334155%22%2C%20lw%3D1.0)%0A%20%20%20%20_ax_gain.set_xticks(_extra_numbers)%0A%20%20%20%20_ax_gain.set_xlabel(%22extra%20observation%20added%22)%0A%20%20%20%20_ax_gain.set_ylabel(r%22MSE%20reduction%20%20%24J_%7Bm-1%7D-J_m%24%22)%0A%20%20%20%20_ax_gain.set_title(%22Marginal%20value%20of%20each%20extra%20sensor%22%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20_ax_gain.text(%0A%20%20%20%20%20%20%20%200.02%2C%0A%20%20%20%20%20%20%20%200.96%2C%0A%20%20%20%20%20%20%20%20f%22sensor%201%3A%20%201.000%20%E2%86%92%20%7B_mse_data%5B'mse_curve'%5D%5B0%5D%3A.3f%7D%22%2C%0A%20%20%20%20%20%20%20%20transform%3D_ax_gain.transAxes%2C%0A%20%20%20%20%20%20%20%20ha%3D%22left%22%2C%0A%20%20%20%20%20%20%20%20va%3D%22top%22%2C%0A%20%20%20%20%20%20%20%20fontsize%3D9%2C%0A%20%20%20%20%20%20%20%20color%3DC_PRIOR%2C%0A%20%20%20%20)%0A%20%20%20%20_ax_gain.grid(axis%3D%22y%22%2C%20alpha%3D0.22)%0A%0A%20%20%20%20_mse_fig.suptitle(%0A%20%20%20%20%20%20%20%20f%22%7B_mse_data%5B'profile_name'%5D%7D%20%C2%B7%20noise%20scale%20%7B_mse_data%5B'scale'%5D%3A.2f%7D%22%2C%0A%20%20%20%20%20%20%20%20fontsize%3D14%2C%0A%20%20%20%20%20%20%20%20fontweight%3D%22bold%22%2C%0A%20%20%20%20%20%20%20%20y%3D1.01%2C%0A%20%20%20%20)%0A%20%20%20%20plt.close(_mse_fig)%0A%20%20%20%20mse_figure%20%3D%20_mse_fig%0A%20%20%20%20mse_figure%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%203.%20Verify%20the%20orthogonality%20principle%0A%0A%20%20%20%20With%20%24E%3DY-%5Cwidehat%20Y%24%2C%20optimality%20requires%0A%0A%20%20%20%20%24%24%5Cmathbb%20E%5BE%20X_k%5D%3D0%20%5Cqquad%20%5Ctext%7Bfor%20every%20included%20sensor%20%7Dk.%24%24%0A%0A%20%20%20%20The%20left%20panel%20compares%20residual%20distributions%20over%205000%20fixed%20trials.%20The%20right%20panel%20estimates%20the%20residual%E2%80%93observation%20correlations%20from%20those%20trials.%20Finite%20sampling%20leaves%20tiny%20fluctuations%20around%20zero%3B%20an%20arbitrary%20equal-weight%20average%20generally%20leaves%20exploitable%20correlation%20behind.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(C_LMMSE%2C%20C_NAIVE%2C%20C_PRIOR%2C%20fusion%2C%20kde_1d%2C%20np%2C%20plt%2C%20show_naive)%3A%0A%20%20%20%20_diag%20%3D%20fusion%0A%20%20%20%20_all_residuals%20%3D%20np.r_%5B_diag%5B%22first_residual%22%5D%2C%20_diag%5B%22residual%22%5D%5D%0A%20%20%20%20_grid_lo%20%3D%20float(np.quantile(_all_residuals%2C%200.002))%20-%200.2%0A%20%20%20%20_grid_hi%20%3D%20float(np.quantile(_all_residuals%2C%200.998))%20%2B%200.2%0A%20%20%20%20_resid_grid%20%3D%20np.linspace(_grid_lo%2C%20_grid_hi%2C%20440)%0A%20%20%20%20_first_density%20%3D%20kde_1d(_diag%5B%22first_residual%22%5D%2C%20_resid_grid)%0A%20%20%20%20_current_density%20%3D%20kde_1d(_diag%5B%22residual%22%5D%2C%20_resid_grid)%0A%0A%20%20%20%20_diag_fig%2C%20(_ax_resid%2C%20_ax_orth)%20%3D%20plt.subplots(%0A%20%20%20%20%20%20%20%201%2C%0A%20%20%20%20%20%20%20%202%2C%0A%20%20%20%20%20%20%20%20figsize%3D(12.8%2C%204.4)%2C%0A%20%20%20%20%20%20%20%20gridspec_kw%3D%7B%22width_ratios%22%3A%20%5B1.25%2C%201.0%5D%2C%20%22wspace%22%3A%200.28%7D%2C%0A%20%20%20%20)%0A%20%20%20%20_ax_resid.plot(%0A%20%20%20%20%20%20%20%20_resid_grid%2C%0A%20%20%20%20%20%20%20%20_first_density%2C%0A%20%20%20%20%20%20%20%20color%3DC_PRIOR%2C%0A%20%20%20%20%20%20%20%20lw%3D2.2%2C%0A%20%20%20%20%20%20%20%20label%3Drf%22one%20sensor%20%20(theory%20SD%3D%7Bnp.sqrt(_diag%5B'mse_curve'%5D%5B0%5D)%3A.3f%7D)%22%2C%0A%20%20%20%20)%0A%20%20%20%20_ax_resid.fill_between(_resid_grid%2C%200%2C%20_first_density%2C%20color%3DC_PRIOR%2C%20alpha%3D0.10)%0A%20%20%20%20_ax_resid.plot(%0A%20%20%20%20%20%20%20%20_resid_grid%2C%0A%20%20%20%20%20%20%20%20_current_density%2C%0A%20%20%20%20%20%20%20%20color%3DC_LMMSE%2C%0A%20%20%20%20%20%20%20%20lw%3D2.8%2C%0A%20%20%20%20%20%20%20%20label%3Drf%22%7B_diag%5B'count'%5D%7D%20sensors%20%20(theory%20SD%3D%7Bnp.sqrt(_diag%5B'solution'%5D%5B'mse'%5D)%3A.3f%7D)%22%2C%0A%20%20%20%20)%0A%20%20%20%20_ax_resid.fill_between(_resid_grid%2C%200%2C%20_current_density%2C%20color%3DC_LMMSE%2C%20alpha%3D0.12)%0A%20%20%20%20_ax_resid.axvline(0%2C%20color%3D%22%23334155%22%2C%20lw%3D1.0)%0A%20%20%20%20_ax_resid.set_xlabel(r%22residual%20%20%24E%3DY-%5Cwidehat%20Y%24%22)%0A%20%20%20%20_ax_resid.set_ylabel(%22density%22)%0A%20%20%20%20_ax_resid.set_title(%22More%20observations%20narrow%20the%20residual%22%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20_ax_resid.grid(alpha%3D0.22)%0A%20%20%20%20_ax_resid.legend(frameon%3DFalse%2C%20fontsize%3D9)%0A%0A%20%20%20%20_sensor_axis%20%3D%20np.arange(1%2C%20_diag%5B%22count%22%5D%20%2B%201)%0A%20%20%20%20_bar_width%20%3D%200.36%0A%20%20%20%20_optimal_positions%20%3D%20_sensor_axis%20-%20_bar_width%20%2F%202%20if%20show_naive.value%20else%20_sensor_axis%0A%20%20%20%20_ax_orth.bar(%0A%20%20%20%20%20%20%20%20_optimal_positions%2C%0A%20%20%20%20%20%20%20%20_diag%5B%22sample_opt_corr%22%5D%2C%0A%20%20%20%20%20%20%20%20_bar_width%2C%0A%20%20%20%20%20%20%20%20color%3DC_LMMSE%2C%0A%20%20%20%20%20%20%20%20label%3D%22LMMSE%20residual%22%2C%0A%20%20%20%20)%0A%20%20%20%20if%20show_naive.value%3A%0A%20%20%20%20%20%20%20%20_ax_orth.bar(%0A%20%20%20%20%20%20%20%20%20%20%20%20_sensor_axis%20%2B%20_bar_width%20%2F%202%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_diag%5B%22sample_naive_corr%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_bar_width%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3DC_NAIVE%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22average%20residual%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20_ax_orth.axhline(0%2C%20color%3D%22%23334155%22%2C%20lw%3D1.0)%0A%20%20%20%20_ax_orth.set_xticks(_sensor_axis)%0A%20%20%20%20_ax_orth.set_xlabel(%22sensor%20index%20%20%24k%24%22)%0A%20%20%20%20_ax_orth.set_ylabel(r%22sample%20correlation%20%20%24%5Cwidehat%7B%5Cmathrm%7Bcorr%7D%7D(E%2CX_k)%24%22)%0A%20%20%20%20_ax_orth.set_title(%22The%20optimal%20residual%20is%20orthogonal%22%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20_ax_orth.grid(axis%3D%22y%22%2C%20alpha%3D0.22)%0A%20%20%20%20_ax_orth.legend(frameon%3DFalse%2C%20fontsize%3D9%2C%20loc%3D%22best%22)%0A%0A%20%20%20%20_diag_fig.suptitle(%22Projection%20leaves%20no%20linear%20information%20in%20the%20residual%22%2C%20fontsize%3D14%2C%20fontweight%3D%22bold%22%2C%20y%3D1.01)%0A%20%20%20%20plt.close(_diag_fig)%0A%20%20%20%20diagnostic_figure%20%3D%20_diag_fig%0A%20%20%20%20diagnostic_figure%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(MAX_SENSORS%2C%20fusion%2C%20mo%2C%20np)%3A%0A%20%20%20%20_final%20%3D%20fusion%0A%20%20%20%20_next_gain%20%3D%20(%0A%20%20%20%20%20%20%20%20_final%5B%22mse_curve%22%5D%5B_final%5B%22count%22%5D%20-%201%5D%20-%20_final%5B%22mse_curve%22%5D%5B_final%5B%22count%22%5D%5D%0A%20%20%20%20%20%20%20%20if%20_final%5B%22count%22%5D%20%3C%20MAX_SENSORS%0A%20%20%20%20%20%20%20%20else%20np.nan%0A%20%20%20%20)%0A%20%20%20%20_next_sentence%20%3D%20(%0A%20%20%20%20%20%20%20%20f%22Adding%20sensor%20%7B_final%5B'count'%5D%20%2B%201%7D%20would%20reduce%20MSE%20by%20only%20%7B_next_gain%3A.4f%7D%20in%20the%20current%20configuration.%22%0A%20%20%20%20%20%20%20%20if%20np.isfinite(_next_gain)%0A%20%20%20%20%20%20%20%20else%20%22All%20eight%20available%20sensors%20are%20already%20included.%22%0A%20%20%20%20)%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20fr%22%22%22%0A%20%20%20%20%23%23%204.%20What%20to%20carry%20forward%0A%0A%20%20%20%201.%20**Several%20observations%20form%20a%20subspace.**%20The%20optimal%20weighted%20sum%20is%20the%20projection%20of%20%24Y%24%20onto%20their%20span.%0A%20%20%20%202.%20**More%20cannot%20hurt.**%20The%20current%20exact%20curve%20satisfies%20%24J_1%5Cge%20J_2%5Cge%5Ccdots%5Cge%20J_8%24%3B%20a%20useless%20observation%20simply%20receives%20zero%20effective%20weight.%0A%20%20%20%203.%20**Correlation%20is%20redundancy.**%20Shared%20noise%20makes%20observations%20look%20alike%20without%20adding%20equivalent%20new%20information%2C%20so%20the%20MSE%20curve%20flattens.%0A%20%20%20%204.%20**The%20inverse%20covariance%20prevents%20double-counting.**%20%24%5Cmathbf%20R_%7B%7BXX%7D%7D%5E%7B%7B-1%7D%7D%24%20can%20downweight%E2%80%94or%20even%20subtract%E2%80%94a%20channel%20whose%20main%20contribution%20is%20shared%20noise.%0A%20%20%20%205.%20**Orthogonality%20is%20the%20certificate.**%20Once%20%24%5Cmathbb%20E%5BE%20X_k%5D%3D0%24%20for%20every%20sensor%2C%20no%20further%20linear%20adjustment%20along%20the%20observed%20directions%20can%20improve%20the%20estimate.%0A%0A%20%20%20%20**At%20the%20current%20controls%3A**%20using%20%7B_final%5B'count'%5D%7D%20sensor(s)%20reduces%20theoretical%20MSE%20from%20%7B_final%5B'mse_curve'%5D%5B0%5D%3A.4f%7D%20to%20**%7B_final%5B'solution'%5D%5B'mse'%5D%3A.4f%7D**.%20%7B_next_sentence%7D%0A%0A%20%20%20%20**Try%20this%3A**%20compare%20%24%5Crho%3D0%24%20with%20%24%5Crho%3D0.95%24%2C%20then%20choose%20*better%20sensors%20arrive%20later*.%20The%20error%20still%20never%20rises%2C%20but%20the%20value%20of%20each%20added%20observation%20depends%20on%20both%20its%20own%20precision%20and%20what%20the%20existing%20sensors%20already%20know.%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A