regression to filtering interactive

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.11%22%0A%23%20dependencies%20%3D%20%5B%22marimo%3E%3D0.23.9%22%2C%20%22matplotlib%3D%3D3.10.8%22%2C%20%22numpy%3D%3D2.4.3%22%5D%0A%23%20%0A%23%20%5Btool.marimo.export%5D%0A%23%20lock_kind%20%3D%20%22resolved%22%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.23.13%22%0Aapp%20%3D%20marimo.App()%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20from%20matplotlib.patches%20import%20ConnectionPatch%0A%0A%20%20%20%20plt.style.use(%22default%22)%0A%20%20%20%20return%20ConnectionPatch%2C%20mo%2C%20np%2C%20plt%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20From%20regression%20to%20filtering%0A%0A%20%20%20%20Regression%20predicts%20a%20value%20%24Y%24%20from%20a%20**vector**%20of%20observations%20%24%5Cmathbf%7BX%7D%24.%20A%20linear%0A%20%20%20%20filter%20does%20the%20same%2C%20where%20the%20observation%20vector%20is%20a%20**sliding%20window**%20of%20an%20observation%0A%20%20%20%20process%20%24X%5Bk%5D%24%20used%20to%20estimate%20a%20target%20process%20%24Y%5Bk%5D%24%3A%0A%0A%20%20%20%20%24%24%0A%20%20%20%20%5Cwidehat%7BY%7D%5Bk%5D%20%3D%20%5Csum_%7B%5Clambda%3D0%7D%5E%7BL-1%7D%20h%5B%5Clambda%5D%5C%2C%20X%5Bk-%5Clambda%5D%0A%20%20%20%20%3D%20%5Cmathbf%7Bh%7D%5Ctop%20%5Cbig(X%5Bk%5D%2C%5C%2CX%5Bk-1%5D%2C%5C%2C%5Cldots%2C%5C%2CX%5Bk-(L-1)%5D%5Cbig)%5Ctop%20.%0A%20%20%20%20%24%24%0A%0A%20%20%20%20Here%20%24X%24%20and%20%24Y%24%20are%20two%20**general%20jointly-stationary%20signals**%20built%20from%20a%20shared%20latent%3A%0A%20%20%20%20%24X%24%20is%20the%20latent%20plus%20noise%2C%20while%20%24Y%24%20is%20a%20**filtered%20version**%20of%20the%20same%20latent%20plus%20its%0A%20%20%20%20own%20independent%20noise.%20Because%20%24Y%24%20is%20filtered%2C%20the%20optimal%20%24%5Cmathbf%7Bh%7D%24%20is%20*not*%20the%20identity%20%E2%80%94%0A%20%20%20%20it%20has%20to%20undo%20that%20filter%20(delay%2C%20edge%2C%20or%20smoothing)%2C%20which%20is%20the%20essence%20of%20filtering%20and%0A%20%20%20%20*not*%20one%20signal%20predicted%20from%20itself.%20(That%20autoregressive%20case%20%24Y%3DX%24%20%E2%80%94%20**linear%20prediction**%0A%20%20%20%20%E2%80%94%20opens%20the%20companion%20LPC%20notebook.)%20This%20notebook%20builds%20the%20picture%3A%0A%0A%20%20%20%201.%20a%20window%20of%20the%20observation%20%24X%24%20estimating%20the%20**current**%20target%20%24Y%5Bk%5D%24%20%E2%80%94%20across%20several%0A%20%20%20%20%20%20%20realizations%3B%0A%20%20%20%202.%20stacking%20windows%20into%20a%20**least-squares**%20problem%2C%20and%20the%20design%20matrix%20it%20produces%3B%0A%20%20%20%203.%20**stationarity**%20%E2%80%94%20the%20auto-%20and%20cross-correlations%20do%20not%20depend%20on%20*where*%20the%20window%20sits%3B%0A%20%20%20%204.%20**ergodicity**%20%E2%80%94%20so%20we%20can%20estimate%20them%20by%20averaging%20windows%20of%20*one*%20record.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(np)%3A%0A%20%20%20%20def%20_random_kernel(random_seed%2C%20length%3D15)%3A%0A%20%20%20%20%20%20%20%20%23%20A%20fixed%20(seeded)%20arbitrary%20FIR%3A%20same%20kernel%20for%20every%20call%20with%20this%20seed%2C%0A%20%20%20%20%20%20%20%20%23%20so%20the%20X%E2%80%93Y%20statistics%20stay%20consistent%20across%20realizations%20and%20sections.%0A%20%20%20%20%20%20%20%20fr%20%3D%20np.random.default_rng(random_seed)%0A%20%20%20%20%20%20%20%20taps%20%3D%20fr.standard_normal(length)%0A%20%20%20%20%20%20%20%20%23%20taps%20%3D%20taps%20*%20np.exp(-0.25%20*%20np.arange(length))%20%20%23%20mild%20decay%20%E2%86%92%20plausible%20filter%0A%20%20%20%20%20%20%20%20return%20taps%20%2F%20np.sqrt(np.sum(taps**2))%0A%0A%20%20%20%20def%20_filter_latent(latent_full%2C%20pad%2C%20n%2C%20kind%2C%20random_seed)%3A%0A%20%20%20%20%20%20%20%20%23%20Build%20the%20target's%20CLEAN%20component%20from%20the%20shared%20latent%20by%20applying%20a%0A%20%20%20%20%20%20%20%20%23%20simple%20filter%2C%20so%20Y%20is%20no%20longer%20a%20copy%20of%20X.%20%60latent_full%60%20is%20the%20smoothed%0A%20%20%20%20%20%20%20%20%23%20white-noise%20record%20(length%20n%20%2B%202*pad)%3B%20we%20slice%20out%20the%20central%20n%20samples.%0A%20%20%20%20%20%20%20%20if%20kind%20%3D%3D%20%22delay%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Y%5Bk%5D%20%3D%20latent%5Bk%20-%20D%5D%3A%20the%20target%20lags%20the%20observation%3B%20the%20filter%20must%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20reach%20back%20into%20the%20past%20(the%20canonical%20filtering%20case).%0A%20%20%20%20%20%20%20%20%20%20%20%20D%20%3D%206%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20latent_full%5Bpad%20-%20D%20%3A%20pad%20-%20D%20%2B%20n%5D%0A%20%20%20%20%20%20%20%20if%20kind%20%3D%3D%20%22derivative%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Y%5Bk%5D%20~%20slope%20of%20the%20latent%3A%20an%20edge%2Fhigh-pass%20filter.%0A%20%20%20%20%20%20%20%20%20%20%20%20edge%20%3D%20np.convolve(latent_full%2C%20np.array(%5B1.0%2C%200.0%2C%20-1.0%5D)%2C%20mode%3D%22same%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20edge%5Bpad%20%3A%20pad%20%2B%20n%5D%0A%20%20%20%20%20%20%20%20if%20kind%20%3D%3D%20%22smooth%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Y%5Bk%5D%20%3D%20an%20even%20cleaner%20trend%3A%20extra%20low-pass%20on%20top%20of%20the%20latent.%0A%20%20%20%20%20%20%20%20%20%20%20%20extra%20%3D%20np.hanning(13)%5B1%3A-1%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20extra%20%3D%20extra%20%2F%20extra.sum()%0A%20%20%20%20%20%20%20%20%20%20%20%20trend%20%3D%20np.convolve(latent_full%2C%20extra%2C%20mode%3D%22same%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20trend%5Bpad%20%3A%20pad%20%2B%20n%5D%0A%20%20%20%20%20%20%20%20if%20kind%20%3D%3D%20%22random%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Y%20%3D%20an%20arbitrary%20multi-tap%20FIR%20of%20the%20latent%20(re-rolled%20by%20random_seed).%0A%20%20%20%20%20%20%20%20%20%20%20%20scrambled%20%3D%20np.convolve(latent_full%2C%20_random_kernel(random_seed)%2C%20mode%3D%22same%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20scrambled%5Bpad%20%3A%20pad%20%2B%20n%5D%0A%20%20%20%20%20%20%20%20%23%20%22denoise%22%3A%20Y%20shares%20X's%20clean%20component%20(the%20original%20identity%20case).%0A%20%20%20%20%20%20%20%20return%20latent_full%5Bpad%20%3A%20pad%20%2B%20n%5D%0A%0A%20%20%20%20def%20generate_xy(%0A%20%20%20%20%20%20%20%20n%2C%20rng%2C%20smooth_len%3D9%2C%20noise_level%3D0.5%2C%20pad%3D64%2C%20target_filter%3D%22delay%22%2C%20random_seed%3D0%0A%20%20%20%20)%3A%0A%20%20%20%20%20%20%20%20white%20%3D%20rng.standard_normal(n%20%2B%202%20*%20pad)%0A%20%20%20%20%20%20%20%20kernel%20%3D%20np.hanning(smooth_len%20%2B%202)%5B1%3A-1%5D%0A%20%20%20%20%20%20%20%20kernel%20%3D%20kernel%20%2F%20kernel.sum()%0A%20%20%20%20%20%20%20%20latent_full%20%3D%20np.convolve(white%2C%20kernel%2C%20mode%3D%22same%22)%0A%0A%20%20%20%20%20%20%20%20obs_clean%20%3D%20latent_full%5Bpad%20%3A%20pad%20%2B%20n%5D%0A%20%20%20%20%20%20%20%20obs_clean%20%3D%20obs_clean%20%2F%20np.std(obs_clean)%0A%0A%20%20%20%20%20%20%20%20target_clean%20%3D%20_filter_latent(latent_full%2C%20pad%2C%20n%2C%20target_filter%2C%20random_seed)%0A%20%20%20%20%20%20%20%20target_clean%20%3D%20target_clean%20%2F%20np.std(target_clean)%0A%0A%20%20%20%20%20%20%20%20observation%20%3D%20obs_clean%20%2B%20noise_level%20*%20rng.standard_normal(n)%0A%20%20%20%20%20%20%20%20target%20%3D%20target_clean%20%2B%20noise_level%20*%20rng.standard_normal(n)%0A%20%20%20%20%20%20%20%20latent%20%3D%20obs_clean%0A%20%20%20%20%20%20%20%20return%20observation%2C%20target%2C%20latent%0A%0A%20%20%20%20def%20estimate_autocov(segment%2C%20max_lag)%3A%0A%20%20%20%20%20%20%20%20seg%20%3D%20segment%20-%20segment.mean()%0A%20%20%20%20%20%20%20%20n%20%3D%20len(seg)%0A%20%20%20%20%20%20%20%20return%20np.array(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5Bnp.dot(seg%5B%3A%20n%20-%20lag%5D%2C%20seg%5Blag%3A%5D)%20%2F%20n%20for%20lag%20in%20range(max_lag%20%2B%201)%5D%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20def%20estimate_crosscov(seg_x%2C%20seg_y%2C%20max_lag)%3A%0A%20%20%20%20%20%20%20%20xs%20%3D%20seg_x%20-%20seg_x.mean()%0A%20%20%20%20%20%20%20%20ys%20%3D%20seg_y%20-%20seg_y.mean()%0A%20%20%20%20%20%20%20%20n%20%3D%20len(xs)%0A%20%20%20%20%20%20%20%20lags%20%3D%20np.arange(-max_lag%2C%20max_lag%20%2B%201)%0A%20%20%20%20%20%20%20%20values%20%3D%20np.empty(len(lags))%0A%20%20%20%20%20%20%20%20for%20idx%2C%20lag%20in%20enumerate(lags)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20lag%20%3E%3D%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20values%5Bidx%5D%20%3D%20np.dot(xs%5B%3A%20n%20-%20lag%5D%2C%20ys%5Blag%3A%5D)%20%2F%20n%0A%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20values%5Bidx%5D%20%3D%20np.dot(xs%5B-lag%3A%5D%2C%20ys%5B%3A%20n%20%2B%20lag%5D)%20%2F%20n%0A%20%20%20%20%20%20%20%20return%20lags%2C%20values%0A%0A%20%20%20%20return%20estimate_autocov%2C%20estimate_crosscov%2C%20generate_xy%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%201.%20A%20window%20of%20%24X%24%20estimates%20the%20current%20%24Y%5Bk%5D%24%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20s1_window%20%3D%20mo.ui.slider(value%3D10%2C%20start%3D3%2C%20stop%3D20%2C%20step%3D1%2C%20label%3D%22Window%20length%20L%3A%22)%0A%20%20%20%20s1_anchor%20%3D%20mo.ui.slider(value%3D80%2C%20start%3D30%2C%20stop%3D140%2C%20step%3D1%2C%20label%3D%22Current%20time%20k%3A%22)%0A%20%20%20%20s1_num%20%3D%20mo.ui.slider(value%3D3%2C%20start%3D1%2C%20stop%3D6%2C%20step%3D1%2C%20label%3D%22Realizations%20shown%3A%22)%0A%20%20%20%20noise_slider%20%3D%20mo.ui.slider(value%3D0.05%2C%20start%3D0.0%2C%20stop%3D1.5%2C%20step%3D0.05%2C%20label%3D%22Noise%20level%20%CF%83%20(global)%3A%22)%0A%20%20%20%20target_filter_choice%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Delay%20%E2%80%94%20Y%20lags%20X%20(smoothing)%22%3A%20%22delay%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Derivative%20%E2%80%94%20Y%20is%20the%20slope%2Fedge%20of%20X%22%3A%20%22derivative%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Extra%20smoothing%20%E2%80%94%20Y%20is%20a%20cleaner%20trend%22%3A%20%22smooth%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Random%20%E2%80%94%20Y%20is%20an%20arbitrary%20FIR%20of%20X%22%3A%20%22random%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Denoise%20%E2%80%94%20Y%20%E2%89%88%20X%20(identity)%22%3A%20%22denoise%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Random%20%E2%80%94%20Y%20is%20an%20arbitrary%20FIR%20of%20X%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Target%20filter%20(Y%20from%20latent%2C%20global)%3A%22%2C%0A%20%20%20%20)%0A%20%20%20%20target_filter_seed%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20value%3D9%2C%20start%3D0%2C%20stop%3D20%2C%20step%3D1%2C%20label%3D%22Random-filter%20seed%20(Random%20only)%3A%22%0A%20%20%20%20)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20noise_slider%2C%0A%20%20%20%20%20%20%20%20s1_anchor%2C%0A%20%20%20%20%20%20%20%20s1_num%2C%0A%20%20%20%20%20%20%20%20s1_window%2C%0A%20%20%20%20%20%20%20%20target_filter_choice%2C%0A%20%20%20%20%20%20%20%20target_filter_seed%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(generate_xy%2C%20noise_slider%2C%20np%2C%20target_filter_choice%2C%20target_filter_seed)%3A%0A%20%20%20%20%23%20Canonical%20%22realization%201%22%3A%20one%20long%20record%20(seed%201)%20generated%20at%20a%20FIXED%20length%20so%0A%20%20%20%20%23%20it%20never%20shifts%20as%20other%20sliders%20move.%20Section%201%20shows%20its%20first%20samples%20as%0A%20%20%20%20%23%20%22realization%201%22%3B%20Section%202%20slices%20this%20very%20same%20record%20into%20stacked%20windows.%0A%20%20%20%20REC_LEN%20%3D%20320%0A%20%20%20%20rec1_x%2C%20rec1_y%2C%20_%20%3D%20generate_xy(%0A%20%20%20%20%20%20%20%20REC_LEN%2C%0A%20%20%20%20%20%20%20%20np.random.default_rng(1)%2C%0A%20%20%20%20%20%20%20%20noise_level%3Dnoise_slider.value%2C%0A%20%20%20%20%20%20%20%20target_filter%3Dtarget_filter_choice.value%2C%0A%20%20%20%20%20%20%20%20random_seed%3Dtarget_filter_seed.value%2C%0A%20%20%20%20)%0A%20%20%20%20return%20REC_LEN%2C%20rec1_x%2C%20rec1_y%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20ConnectionPatch%2C%0A%20%20%20%20REC_LEN%2C%0A%20%20%20%20generate_xy%2C%0A%20%20%20%20noise_slider%2C%0A%20%20%20%20np%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20rec1_x%2C%0A%20%20%20%20rec1_y%2C%0A%20%20%20%20s1_anchor%2C%0A%20%20%20%20s1_num%2C%0A%20%20%20%20s1_window%2C%0A%20%20%20%20target_filter_choice%2C%0A%20%20%20%20target_filter_seed%2C%0A)%3A%0A%20%20%20%20s1_L%20%3D%20s1_window.value%0A%20%20%20%20s1_k%20%3D%20s1_anchor.value%0A%20%20%20%20s1_n%20%3D%20170%0A%0A%20%20%20%20%23%20Realization%201%20is%20the%20canonical%20shared%20record%20(also%20stacked%20in%20Section%202)%3B%0A%20%20%20%20%23%20realizations%202..n%20are%20independent%20draws%20shown%20only%20for%20visual%20variety.%0A%20%20%20%20s1_signals%20%3D%20%5B(rec1_x%5B%3As1_n%5D%2C%20rec1_y%5B%3As1_n%5D)%5D%0A%20%20%20%20for%20_seed%20in%20range(2%2C%20s1_num.value%20%2B%201)%3A%0A%20%20%20%20%20%20%20%20_rx%2C%20_ry%2C%20_%20%3D%20generate_xy(%0A%20%20%20%20%20%20%20%20%20%20%20%20REC_LEN%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20np.random.default_rng(_seed)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20noise_level%3Dnoise_slider.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20target_filter%3Dtarget_filter_choice.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20random_seed%3Dtarget_filter_seed.value%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20s1_signals.append((_rx%5B%3As1_n%5D%2C%20_ry%5B%3As1_n%5D))%0A%0A%20%20%20%20s1_time%20%3D%20np.arange(s1_n)%0A%20%20%20%20s1_colors%20%3D%20%5Bf%22C%7B_i%7D%22%20for%20_i%20in%20range(len(s1_signals))%5D%0A%0A%20%20%20%20fig1%2C%20(s1_ax_x%2C%20s1_ax_y)%20%3D%20plt.subplots(2%2C%201%2C%20figsize%3D(14%2C%206)%2C%20sharex%3DTrue)%0A%20%20%20%20for%20_i%2C%20(_x%2C%20_y)%20in%20enumerate(s1_signals)%3A%0A%20%20%20%20%20%20%20%20s1_ax_x.plot(s1_time%2C%20_x%2C%20color%3Ds1_colors%5B_i%5D%2C%20linewidth%3D1.0%2C%20alpha%3D0.8%2C%20marker%3D%22.%22%2C%20label%3Df%22realization%20%7B_i%20%2B%201%7D%22)%0A%20%20%20%20%20%20%20%20s1_ax_y.plot(s1_time%2C%20_y%2C%20color%3Ds1_colors%5B_i%5D%2C%20linewidth%3D1.0%2C%20alpha%3D0.8%2C%20marker%3D%22.%22)%0A%0A%20%20%20%20s1_ax_x.axvspan(s1_k%20-%20s1_L%20%2B%201%2C%20s1_k%2C%20color%3D%220.4%22%2C%20alpha%3D0.18)%0A%20%20%20%20s1_ax_x.set_title(%22Observation%20X%20%E2%80%94%20a%20window%20of%20L%20past%20samples%22%2C%20fontsize%3D12%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20s1_ax_x.set_ylabel(%22X%5Bk%5D%22%2C%20fontsize%3D11)%0A%20%20%20%20s1_ax_x.legend(fontsize%3D8%2C%20loc%3D%22upper%20right%22%2C%20ncol%3D3)%0A%20%20%20%20s1_ax_x.grid(True%2C%20alpha%3D0.3)%0A%0A%20%20%20%20s1_ax_y.axvline(s1_k%2C%20color%3D%22crimson%22%2C%20linewidth%3D1.0%2C%20alpha%3D0.6%2C%20linestyle%3D%22--%22)%0A%20%20%20%20for%20_i%2C%20(_x%2C%20_y)%20in%20enumerate(s1_signals)%3A%0A%20%20%20%20%20%20%20%20s1_ax_y.plot(%5Bs1_k%5D%2C%20%5B_y%5Bs1_k%5D%5D%2C%20%22o%22%2C%20color%3Ds1_colors%5B_i%5D%2C%20markersize%3D9)%0A%20%20%20%20s1_ax_y.set_title(%22Target%20Y%20%E2%80%94%20the%20current%20value%20Y%5Bk%5D%20we%20estimate%22%2C%20fontsize%3D12%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20s1_ax_y.set_ylabel(%22Y%5Bk%5D%22%2C%20fontsize%3D11)%0A%20%20%20%20s1_ax_y.set_xlabel(%22Time%20index%20k%22%2C%20fontsize%3D11)%0A%20%20%20%20s1_ax_y.grid(True%2C%20alpha%3D0.3)%0A%0A%20%20%20%20fig1.add_artist(%0A%20%20%20%20%20%20%20%20ConnectionPatch(%0A%20%20%20%20%20%20%20%20%20%20%20%20xyA%3D(s1_k%20-%20(s1_L%20-%201)%20%2F%202.0%2C%20s1_signals%5B0%5D%5B0%5D%5Bs1_k%20-%20s1_L%20%2B%201%20%3A%20s1_k%20%2B%201%5D.mean())%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20coordsA%3Ds1_ax_x.transData%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20xyB%3D(s1_k%2C%20s1_signals%5B0%5D%5B1%5D%5Bs1_k%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20coordsB%3Ds1_ax_y.transData%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20arrowstyle%3D%22-%7C%3E%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3D%22crimson%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20linewidth%3D2.0%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mutation_scale%3D18%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%20%20%20%20plt.tight_layout()%0A%20%20%20%20return%20(fig1%2C)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20fig1%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20noise_slider%2C%0A%20%20%20%20s1_anchor%2C%0A%20%20%20%20s1_num%2C%0A%20%20%20%20s1_window%2C%0A%20%20%20%20target_filter_choice%2C%0A)%3A%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Bs1_window%2C%20s1_anchor%2C%20s1_num%2C%20noise_slider%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Btarget_filter_choice%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.mpl.interactive(fig1)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20The%20**same%20window%20mechanism**%20acts%20on%20every%20realization%3A%20a%20window%20of%20%24X%24%20around%20time%0A%20%20%20%20%20%20%20%20%20%20%20%20%24k%24%20is%20mapped%20to%20the%20current%20target%20%24Y%5Bk%5D%24.%20The%20individual%20values%20differ%20from%0A%20%20%20%20%20%20%20%20%20%20%20%20realization%20to%20realization%20%E2%80%94%20only%20the%20**statistics**%20they%20share%20(auto-%20and%0A%20%20%20%20%20%20%20%20%20%20%20%20cross-correlations)%20can%20determine%20the%20weights%20%24h%24.%20This%20is%20*filtering*%3A%20estimate%20the%0A%20%20%20%20%20%20%20%20%20%20%20%20present%20target%20from%20present%20and%20past%20observations.%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%202.%20Stacking%20windows%3A%20the%20least-squares%20design%20matrix%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20s2_window%20%3D%20mo.ui.slider(value%3D12%2C%20start%3D2%2C%20stop%3D100%2C%20step%3D1%2C%20label%3D%22Window%20length%20L%3A%22)%0A%20%20%20%20s2_rows%20%3D%20mo.ui.slider(value%3D8%2C%20start%3D1%2C%20stop%3D100%2C%20step%3D1%2C%20label%3D%22Number%20of%20windows%20N%3A%22)%0A%20%20%20%20return%20s2_rows%2C%20s2_window%0A%0A%0A%40app.cell%0Adef%20_(np%2C%20rec1_x%2C%20rec1_y%2C%20s2_rows%2C%20s2_window)%3A%0A%20%20%20%20s2_L%20%3D%20s2_window.value%0A%20%20%20%20s2_N%20%3D%20s2_rows.value%0A%20%20%20%20%23%20Realization%201%20from%20Section%201%2C%20split%20into%20two%20non-overlapping%20segments%3A%20fit%20on%20the%0A%20%20%20%20%23%20first%2C%20evaluate%20the%20*frozen*%20weights%20on%20the%20second%20(unseen)%20segment%20of%20the%20same%20record.%0A%20%20%20%20s2_record_x%2C%20s2_record_y%20%3D%20rec1_x%2C%20rec1_y%0A%0A%20%20%20%20s2_targets%20%3D%20np.arange(s2_L%20-%201%2C%20s2_L%20-%201%20%2B%20s2_N)%0A%20%20%20%20s2_design%20%3D%20np.array(%5Bs2_record_x%5Bt%20-%20np.arange(s2_L)%5D%20for%20t%20in%20s2_targets%5D)%0A%20%20%20%20s2_target_vector%20%3D%20s2_record_y%5Bs2_targets%5D%0A%0A%20%20%20%20s2_coeffs%2C%20_%2C%20_%2C%20_%20%3D%20np.linalg.lstsq(s2_design%2C%20s2_target_vector%2C%20rcond%3DNone)%0A%20%20%20%20s2_prediction%20%3D%20s2_design%20%40%20s2_coeffs%0A%0A%20%20%20%20%23%20Held-out%20segment%3A%20targets%20after%20the%20training%20region%2C%20same%20record%2C%20weights%20frozen.%0A%20%20%20%20s2_test_targets%20%3D%20np.arange(s2_L%20-%201%20%2B%20s2_N%2C%20s2_L%20-%201%20%2B%202%20*%20s2_N)%0A%20%20%20%20s2_test_design%20%3D%20np.array(%5Bs2_record_x%5Bt%20-%20np.arange(s2_L)%5D%20for%20t%20in%20s2_test_targets%5D)%0A%20%20%20%20s2_test_target_vector%20%3D%20s2_record_y%5Bs2_test_targets%5D%0A%20%20%20%20s2_test_prediction%20%3D%20s2_test_design%20%40%20s2_coeffs%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20s2_N%2C%0A%20%20%20%20%20%20%20%20s2_design%2C%0A%20%20%20%20%20%20%20%20s2_prediction%2C%0A%20%20%20%20%20%20%20%20s2_target_vector%2C%0A%20%20%20%20%20%20%20%20s2_targets%2C%0A%20%20%20%20%20%20%20%20s2_test_prediction%2C%0A%20%20%20%20%20%20%20%20s2_test_target_vector%2C%0A%20%20%20%20%20%20%20%20s2_test_targets%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(np%2C%20plt%2C%20s2_design%2C%20s2_target_vector)%3A%0A%20%20%20%20s2_n_show%20%3D%20min(80%2C%20len(s2_design))%0A%20%20%20%20s2_start%20%3D%20min(len(s2_design)%20%2F%2F%203%2C%20len(s2_design)%20-%20s2_n_show)%0A%20%20%20%20s2_sel%20%3D%20np.arange(s2_start%2C%20s2_start%20%2B%20s2_n_show)%0A%20%20%20%20s2_rows_x%20%3D%20s2_design%5Bs2_sel%5D%0A%20%20%20%20s2_rows_y%20%3D%20s2_target_vector%5Bs2_sel%5D%0A%20%20%20%20s2_show_L%20%3D%20s2_rows_x.shape%5B1%5D%0A%20%20%20%20s2_lag_axis%20%3D%20np.arange(s2_show_L)%0A%20%20%20%20s2_offset%20%3D%203.0%0A%20%20%20%20s2_y_pos%20%3D%20-s2_offset%20*%20np.arange(s2_n_show)%0A%20%20%20%20s2_mat_colors%20%3D%20plt.cm.viridis(np.linspace(0.1%2C%200.9%2C%20s2_n_show))%0A%0A%20%20%20%20fig_ls_matrix%20%3D%20plt.figure(figsize%3D(13%2C%206))%0A%20%20%20%20gs%20%3D%20fig_ls_matrix.add_gridspec(1%2C%203%2C%20width_ratios%3D%5B7%2C%201.7%2C%201.6%5D%2C%20wspace%3D0.3)%0A%0A%20%20%20%20ax_chi%20%3D%20fig_ls_matrix.add_subplot(gs%5B0%2C%200%5D)%0A%20%20%20%20for%20_i%20in%20range(s2_n_show)%3A%0A%20%20%20%20%20%20%20%20_base%20%3D%20s2_y_pos%5B_i%5D%0A%20%20%20%20%20%20%20%20ax_chi.axhline(_base%2C%20color%3D%220.85%22%2C%20linewidth%3D0.8%2C%20zorder%3D0)%0A%20%20%20%20%20%20%20%20ax_chi.plot(s2_lag_axis%2C%20s2_rows_x%5B_i%5D%20%2B%20_base%2C%20color%3Ds2_mat_colors%5B_i%5D%2C%20marker%3D%22.%22%2C%20markersize%3D6%2C%20linewidth%3D1.3)%0A%20%20%20%20ax_chi.set_yticks(s2_y_pos)%0A%20%20%20%20ax_chi.set_yticklabels(%5Bf%22window%20%7B_i%20%2B%201%7D%22%20for%20_i%20in%20range(s2_n_show)%5D)%0A%20%20%20%20ax_chi.set_xlabel(r%22lag%20%24%5Clambda%24%20%20(window%20sample%2C%20newest%20at%20left)%22%2C%20fontsize%3D11)%0A%20%20%20%20ax_chi.set_title(r%22Design%20matrix%20%24%5Cchi%24%20%E2%80%94%20each%20row%20is%20a%20window%20of%20%24X%24%22%2C%20fontsize%3D12%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20ax_chi.grid(True%2C%20axis%3D%22x%22%2C%20alpha%3D0.3)%0A%0A%20%20%20%20ax_y%20%3D%20fig_ls_matrix.add_subplot(gs%5B0%2C%201%5D%2C%20sharey%3Dax_chi)%0A%20%20%20%20ax_y.axvline(0%2C%20color%3D%220.85%22%2C%20linewidth%3D0.8%2C%20zorder%3D0)%0A%20%20%20%20ax_y.plot(s2_rows_y%2C%20s2_y_pos%2C%20color%3D%220.5%22%2C%20linewidth%3D1.3%2C%20zorder%3D1)%0A%20%20%20%20ax_y.scatter(s2_rows_y%2C%20s2_y_pos%2C%20c%3Ds2_mat_colors%2C%20s%3D70%2C%20zorder%3D2)%0A%20%20%20%20ax_y.set_title(r%22%24%5Cmathbf%7By%7D%24%20%20(target%2C%20vertical)%22%2C%20fontsize%3D12%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20ax_y.set_xlabel(%22Y%5Bk%5D%22%2C%20fontsize%3D11)%0A%20%20%20%20ax_y.tick_params(labelleft%3DFalse)%0A%0A%20%20%20%20ax_eq%20%3D%20fig_ls_matrix.add_subplot(gs%5B0%2C%202%5D)%0A%20%20%20%20ax_eq.axis(%22off%22)%0A%20%20%20%20ax_eq.text(0.0%2C%200.5%2C%20r%22%24%5Cchi%5C%2C%5Cmathbf%7Bh%7D%20%5Capprox%20%5Cmathbf%7By%7D%24%22%20%2B%20%22%5Cn%5Cn%22%20%2B%20r%22%24%5Cmathbf%7Bh%7D%3D(%5Cchi%5E%5Ctop%5Cchi)%5E%7B-1%7D%5Cchi%5E%5Ctop%5Cmathbf%7By%7D%24%22%2C%20fontsize%3D15%2C%20va%3D%22center%22)%0A%20%20%20%20fig_ls_matrix.subplots_adjust(left%3D0.10%2C%20right%3D0.98%2C%20top%3D0.92%2C%20bottom%3D0.12)%0A%20%20%20%20return%20(fig_ls_matrix%2C)%0A%0A%0A%40app.cell%0Adef%20_(fig_ls_matrix%2C%20mo%2C%20s2_rows%2C%20s2_window)%3A%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Bs2_window%2C%20s2_rows%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.mpl.interactive(fig_ls_matrix)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20Take%20**realization%201**%20from%20Section%201%20and%20slide%20the%20window%20along%20it%2C%20**stacking**%20each%0A%20%20%20%20%20%20%20%20%20%20%20%20window%20as%20a%20row%20of%20the%20design%20matrix%20%24%5Cchi%24%20(size%20%24N%5Ctimes%20L%24)%3B%20the%20aligned%20targets%0A%20%20%20%20%20%20%20%20%20%20%20%20%24Y%5Bk%5D%24%20form%20the%20vector%20%24%5Cmathbf%7By%7D%24.%20Least%20squares%20gives%20one%20weight%20vector%0A%20%20%20%20%20%20%20%20%20%20%20%20%24%5Cmathbf%7Bh%7D%3D(%5Cchi%5E%5Ctop%5Cchi)%5E%7B-1%7D%5Cchi%5E%5Ctop%5Cmathbf%7By%7D%24.%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20Two%20assumptions%20hide%20in%20this%20single%20fit%3A%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20-%20**Stationarity**%20%E2%80%94%20one%20%24%5Cmathbf%7Bh%7D%24%20is%20used%20for%20*every*%20row%2C%20so%20the%20relationship%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20between%20a%20window%20and%20its%20target%20must%20be%20the%20same%20wherever%20the%20window%20sits.%0A%20%20%20%20%20%20%20%20%20%20%20%20-%20**Ergodicity**%20%E2%80%94%20%24%5Ctfrac%7B1%7D%7BN%7D%5Cchi%5E%5Ctop%5Cchi%20%5Cto%20%5Cmathbf%7BR%7D_%7BXX%7D%24%20and%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%24%5Ctfrac%7B1%7D%7BN%7D%5Cchi%5E%5Ctop%5Cmathbf%7By%7D%20%5Cto%20%5Cmathbf%7Br%7D_%7BXY%7D%24%20are%20averages%20over%20the%20rows%20of%20a%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20*single*%20record%3B%20they%20estimate%20the%20true%20(ensemble)%20statistics%20only%20if%20the%20process%20is%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20ergodic.%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20The%20next%20two%20sections%20examine%20each%20assumption.%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20np%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20s2_N%2C%0A%20%20%20%20s2_prediction%2C%0A%20%20%20%20s2_target_vector%2C%0A%20%20%20%20s2_targets%2C%0A%20%20%20%20s2_test_prediction%2C%0A%20%20%20%20s2_test_target_vector%2C%0A%20%20%20%20s2_test_targets%2C%0A)%3A%0A%20%20%20%20fig_ls_solve%2C%20axes_ls%20%3D%20plt.subplots(2%2C%202%2C%20figsize%3D(15%2C%208.4))%0A%0A%20%20%20%20def%20_gain_db(true%2C%20est)%3A%0A%20%20%20%20%20%20%20%20return%2010%20*%20np.log10(np.mean(true**2)%20%2F%20(np.mean((true%20-%20est)%20**%202)%20%2B%201e-12))%0A%0A%20%20%20%20_ls_rows%20%3D%20(%0A%20%20%20%20%20%20%20%20(%22Training%20segment%20%E2%80%94%20fitted%20windows%22%2C%20s2_targets%2C%20s2_target_vector%2C%20s2_prediction%2C%20%22crimson%22)%2C%0A%20%20%20%20%20%20%20%20(%22Unseen%20segment%20%E2%80%94%20same%20frozen%20weights%22%2C%20s2_test_targets%2C%20s2_test_target_vector%2C%20s2_test_prediction%2C%20%22seagreen%22)%2C%0A%20%20%20%20)%0A%20%20%20%20for%20_r%2C%20(_label%2C%20_t%2C%20_true%2C%20_est%2C%20_c)%20in%20enumerate(_ls_rows)%3A%0A%20%20%20%20%20%20%20%20_ax_time%20%3D%20axes_ls%5B_r%2C%200%5D%0A%20%20%20%20%20%20%20%20_ax_time.plot(_t%2C%20_true%2C%20color%3D%220.5%22%2C%20linewidth%3D1.6%2C%20label%3D%22True%20Y%5Bk%5D%22)%0A%20%20%20%20%20%20%20%20_ax_time.plot(_t%2C%20_est%2C%20color%3D_c%2C%20linewidth%3D1.3%2C%20linestyle%3D%22--%22%2C%20label%3D%22LS%20estimate%22)%0A%20%20%20%20%20%20%20%20_ax_time.set_title(f%22%7B_label%7D%20%20%20(gain%20%7B_gain_db(_true%2C%20_est)%3A.1f%7D%20dB)%22%2C%20fontsize%3D12%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20%20%20%20%20_ax_time.set_xlabel(%22Time%20index%20k%22%2C%20fontsize%3D11)%0A%20%20%20%20%20%20%20%20_ax_time.legend(fontsize%3D9)%0A%20%20%20%20%20%20%20%20_ax_time.grid(True%2C%20alpha%3D0.3)%0A%0A%20%20%20%20%20%20%20%20_ax_sc%20%3D%20axes_ls%5B_r%2C%201%5D%0A%20%20%20%20%20%20%20%20_ax_sc.scatter(_true%2C%20_est%2C%20s%3D12%2C%20alpha%3D0.5%2C%20color%3D_c)%0A%20%20%20%20%20%20%20%20_limits%20%3D%20%5B_true.min()%2C%20_true.max()%5D%0A%20%20%20%20%20%20%20%20_ax_sc.plot(_limits%2C%20_limits%2C%20color%3D%22black%22%2C%20linewidth%3D1.0)%0A%20%20%20%20%20%20%20%20_ax_sc.set_title(f%22Estimated%20vs.%20true%20%20%20(N%20%3D%20%7Bs2_N%7D)%22%2C%20fontsize%3D12%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20%20%20%20%20_ax_sc.set_xlabel(%22True%20Y%5Bk%5D%22%2C%20fontsize%3D11)%0A%20%20%20%20%20%20%20%20_ax_sc.set_ylabel(%22LS%20estimate%22%2C%20fontsize%3D11)%0A%20%20%20%20%20%20%20%20_ax_sc.grid(True%2C%20alpha%3D0.3)%0A%20%20%20%20plt.tight_layout()%0A%20%20%20%20return%20(fig_ls_solve%2C)%0A%0A%0A%40app.cell%0Adef%20_(fig_ls_solve%2C%20mo)%3A%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.mpl.interactive(fig_ls_solve)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20Solving%20the%20stacked%20problem%20recovers%20the%20shared%20smooth%20component%20of%20%24Y%24%20from%20the%20window%0A%20%20%20%20%20%20%20%20%20%20%20%20of%20%24X%24%20%E2%80%94%20the%20independent%20noise%20on%20%24X%24%20and%20%24Y%24%20sets%20the%20floor%20it%20cannot%20beat.%20The%20**top%0A%20%20%20%20%20%20%20%20%20%20%20%20row**%20is%20the%20fit%20on%20the%20windows%20we%20trained%20on%3B%20the%20**bottom%20row**%20freezes%20those%20same%0A%20%20%20%20%20%20%20%20%20%20%20%20weights%20%24%5Cmathbf%7Bh%7D%24%20and%20applies%20them%20to%20a%20later%2C%20**unseen**%20segment%20of%20the%20very%20same%0A%20%20%20%20%20%20%20%20%20%20%20%20record.%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20When%20%24N%24%20is%20small%20relative%20to%20%24L%24%20the%20system%20is%20under-determined%3A%20the%20training%20fit%20looks%0A%20%20%20%20%20%20%20%20%20%20%20%20near-perfect%20(it%20can%20*interpolate*%20the%20few%20targets%20it%20saw)%20while%20the%20unseen-segment%20gain%0A%20%20%20%20%20%20%20%20%20%20%20%20collapses%20%E2%80%94%20that%20gap%20is%20**overfitting**.%20Increasing%20%24N%24%20shrinks%20the%20gap%2C%20because%20the%0A%20%20%20%20%20%20%20%20%20%20%20%20empirical%20moments%20%24%5Ctfrac1N%5Cchi%5E%5Ctop%5Cchi%24%20and%20%24%5Ctfrac1N%5Cchi%5E%5Ctop%5Cmathbf%7By%7D%24%20settle%20to%0A%20%20%20%20%20%20%20%20%20%20%20%20fixed%20values%20and%20the%20weights%20stop%20chasing%20noise.%20Stationarity%20is%20what%20makes%20the%20unseen%0A%20%20%20%20%20%20%20%20%20%20%20%20segment%20a%20fair%20test%3A%20the%20same%20%24%5Cmathbf%7Bh%7D%24%20is%20supposed%20to%20work%20everywhere.%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%203.%20Stationarity%20%E2%80%94%20absolute%20time%20does%20not%20matter%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20s3_window_a%20%3D%20mo.ui.slider(value%3D30%2C%20start%3D0%2C%20stop%3D200%2C%20step%3D10%2C%20label%3D%22Window%20A%20start%3A%22)%0A%20%20%20%20s3_window_b%20%3D%20mo.ui.slider(value%3D330%2C%20start%3D220%2C%20stop%3D440%2C%20step%3D10%2C%20label%3D%22Window%20B%20start%3A%22)%0A%20%20%20%20s3_width%20%3D%20mo.ui.slider(value%3D80%2C%20start%3D40%2C%20stop%3D140%2C%20step%3D10%2C%20label%3D%22Window%20width%3A%22)%0A%20%20%20%20return%20s3_width%2C%20s3_window_a%2C%20s3_window_b%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20estimate_autocov%2C%0A%20%20%20%20estimate_crosscov%2C%0A%20%20%20%20generate_xy%2C%0A%20%20%20%20noise_slider%2C%0A%20%20%20%20np%2C%0A%20%20%20%20s3_width%2C%0A%20%20%20%20s3_window_a%2C%0A%20%20%20%20s3_window_b%2C%0A%20%20%20%20target_filter_choice%2C%0A%20%20%20%20target_filter_seed%2C%0A)%3A%0A%20%20%20%20s3_x%2C%20s3_y%2C%20_%20%3D%20generate_xy(%0A%20%20%20%20%20%20%20%20540%2C%0A%20%20%20%20%20%20%20%20np.random.default_rng(8)%2C%0A%20%20%20%20%20%20%20%20noise_level%3Dnoise_slider.value%2C%0A%20%20%20%20%20%20%20%20target_filter%3Dtarget_filter_choice.value%2C%0A%20%20%20%20%20%20%20%20random_seed%3Dtarget_filter_seed.value%2C%0A%20%20%20%20)%0A%20%20%20%20s3_w%20%3D%20s3_width.value%0A%20%20%20%20s3_max_lag%20%3D%2020%0A%0A%20%20%20%20def%20_window_stats(start)%3A%0A%20%20%20%20%20%20%20%20seg_x%20%3D%20s3_x%5Bstart%20%3A%20start%20%2B%20s3_w%5D%0A%20%20%20%20%20%20%20%20seg_y%20%3D%20s3_y%5Bstart%20%3A%20start%20%2B%20s3_w%5D%0A%20%20%20%20%20%20%20%20acov%20%3D%20estimate_autocov(seg_x%2C%20s3_max_lag)%0A%20%20%20%20%20%20%20%20lags%2C%20ccov%20%3D%20estimate_crosscov(seg_x%2C%20seg_y%2C%20s3_max_lag)%0A%20%20%20%20%20%20%20%20return%20acov%2C%20lags%2C%20ccov%0A%0A%20%20%20%20s3_acov_a%2C%20s3_lags%2C%20s3_ccov_a%20%3D%20_window_stats(s3_window_a.value)%0A%20%20%20%20s3_acov_b%2C%20_%2C%20s3_ccov_b%20%3D%20_window_stats(s3_window_b.value)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20s3_acov_a%2C%0A%20%20%20%20%20%20%20%20s3_acov_b%2C%0A%20%20%20%20%20%20%20%20s3_ccov_a%2C%0A%20%20%20%20%20%20%20%20s3_ccov_b%2C%0A%20%20%20%20%20%20%20%20s3_lags%2C%0A%20%20%20%20%20%20%20%20s3_max_lag%2C%0A%20%20%20%20%20%20%20%20s3_w%2C%0A%20%20%20%20%20%20%20%20s3_x%2C%0A%20%20%20%20%20%20%20%20s3_y%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20np%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20s3_acov_a%2C%0A%20%20%20%20s3_acov_b%2C%0A%20%20%20%20s3_ccov_a%2C%0A%20%20%20%20s3_ccov_b%2C%0A%20%20%20%20s3_lags%2C%0A%20%20%20%20s3_max_lag%2C%0A%20%20%20%20s3_w%2C%0A%20%20%20%20s3_window_a%2C%0A%20%20%20%20s3_window_b%2C%0A%20%20%20%20s3_x%2C%0A%20%20%20%20s3_y%2C%0A)%3A%0A%20%20%20%20fig_stat%2C%20axes_stat%20%3D%20plt.subplots(2%2C%202%2C%20figsize%3D(15%2C%207))%0A%20%20%20%20s3_time%20%3D%20np.arange(len(s3_x))%0A%0A%20%20%20%20for%20_row%2C%20(_sig%2C%20_name)%20in%20enumerate(((s3_x%2C%20%22Observation%20X%22)%2C%20(s3_y%2C%20%22Target%20Y%22)))%3A%0A%20%20%20%20%20%20%20%20_ax%20%3D%20axes_stat%5B_row%2C%200%5D%0A%20%20%20%20%20%20%20%20_ax.plot(s3_time%2C%20_sig%2C%20color%3D%220.6%22%2C%20linewidth%3D1.0)%0A%20%20%20%20%20%20%20%20_ax.axvspan(s3_window_a.value%2C%20s3_window_a.value%20%2B%20s3_w%2C%20color%3D%22steelblue%22%2C%20alpha%3D0.25)%0A%20%20%20%20%20%20%20%20_ax.axvspan(s3_window_b.value%2C%20s3_window_b.value%20%2B%20s3_w%2C%20color%3D%22darkorange%22%2C%20alpha%3D0.25)%0A%20%20%20%20%20%20%20%20_ax.set_title(_name%2C%20fontsize%3D11%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20%20%20%20%20_ax.set_ylabel(%22amplitude%22%2C%20fontsize%3D10)%0A%20%20%20%20%20%20%20%20_ax.grid(True%2C%20alpha%3D0.3)%0A%20%20%20%20axes_stat%5B1%2C%200%5D.set_xlabel(%22Time%20index%20k%22%2C%20fontsize%3D11)%0A%0A%0A%20%20%20%20s3_pos_lags%20%3D%20np.arange(s3_max_lag%20%2B%201)%0A%20%20%20%20axes_stat%5B0%2C%201%5D.plot(s3_pos_lags%2C%20s3_acov_a%2C%20%22o-%22%2C%20color%3D%22steelblue%22%2C%20label%3D%22Window%20A%22)%0A%20%20%20%20axes_stat%5B0%2C%201%5D.plot(s3_pos_lags%2C%20s3_acov_b%2C%20%22s-%22%2C%20color%3D%22darkorange%22%2C%20label%3D%22Window%20B%22)%0A%20%20%20%20axes_stat%5B0%2C%201%5D.set_title(r%22Autocorrelation%20%24%5Chat%7BR%7D_%7BXX%7D%5B%5Ckappa%5D%24%22%2C%20fontsize%3D11%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20axes_stat%5B0%2C%201%5D.set_ylabel(%22covariance%22%2C%20fontsize%3D10)%0A%20%20%20%20axes_stat%5B0%2C%201%5D.legend(fontsize%3D9)%0A%20%20%20%20axes_stat%5B0%2C%201%5D.grid(True%2C%20alpha%3D0.3)%0A%0A%20%20%20%20axes_stat%5B1%2C%201%5D.plot(s3_lags%2C%20s3_ccov_a%2C%20%22o-%22%2C%20color%3D%22steelblue%22%2C%20label%3D%22Window%20A%22)%0A%20%20%20%20axes_stat%5B1%2C%201%5D.plot(s3_lags%2C%20s3_ccov_b%2C%20%22s-%22%2C%20color%3D%22darkorange%22%2C%20label%3D%22Window%20B%22)%0A%20%20%20%20axes_stat%5B1%2C%201%5D.set_title(r%22Cross-correlation%20%24%5Chat%7BR%7D_%7BXY%7D%5B%5Ckappa%5D%24%22%2C%20fontsize%3D11%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20axes_stat%5B1%2C%201%5D.set_xlabel(r%22Lag%20%24%5Ckappa%24%22%2C%20fontsize%3D10)%0A%20%20%20%20axes_stat%5B1%2C%201%5D.set_ylabel(%22covariance%22%2C%20fontsize%3D10)%0A%20%20%20%20axes_stat%5B1%2C%201%5D.legend(fontsize%3D9)%0A%20%20%20%20axes_stat%5B1%2C%201%5D.grid(True%2C%20alpha%3D0.3)%0A%20%20%20%20plt.tight_layout()%0A%20%20%20%20return%20(fig_stat%2C)%0A%0A%0A%40app.cell%0Adef%20_(fig_stat%2C%20mo%2C%20s3_width%2C%20s3_window_a%2C%20s3_window_b)%3A%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Bs3_window_a%2C%20s3_window_b%2C%20s3_width%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.mpl.interactive(fig_stat)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20Move%20the%20two%20windows%20anywhere%20along%20the%20record%3A%20the%20autocorrelation%20%24%5Chat%7BR%7D_%7BXX%7D%24%20and%20the%0A%20%20%20%20%20%20%20%20%20%20%20%20cross-correlation%20%24%5Chat%7BR%7D_%7BXY%7D%24%20estimated%20in%20window%20**A**%20and%20window%20**B**%20essentially%0A%20%20%20%20%20%20%20%20%20%20%20%20coincide.%20**Stationarity**%20means%20these%20statistics%20depend%20only%20on%20the%20*lag*%20%24%5Ckappa%24%2C%20not%0A%20%20%20%20%20%20%20%20%20%20%20%20on%20the%20absolute%20time%20%E2%80%94%20so%20one%20filter%20%24%5Cmathbf%7Bh%7D%24%20is%20valid%20for%20all%20%24k%24.%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%204.%20Ergodicity%20%E2%80%94%20one%20record%2C%20many%20windows%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20s4_num_windows%20%3D%20mo.ui.slider(value%3D40%2C%20start%3D5%2C%20stop%3D120%2C%20step%3D5%2C%20label%3D%22Number%20of%20windows%3A%22)%0A%20%20%20%20s4_width%20%3D%20mo.ui.slider(value%3D48%2C%20start%3D24%2C%20stop%3D96%2C%20step%3D8%2C%20label%3D%22Window%20width%3A%22)%0A%20%20%20%20return%20s4_num_windows%2C%20s4_width%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20estimate_autocov%2C%0A%20%20%20%20estimate_crosscov%2C%0A%20%20%20%20generate_xy%2C%0A%20%20%20%20noise_slider%2C%0A%20%20%20%20np%2C%0A%20%20%20%20s4_num_windows%2C%0A%20%20%20%20s4_width%2C%0A%20%20%20%20target_filter_choice%2C%0A%20%20%20%20target_filter_seed%2C%0A)%3A%0A%20%20%20%20s4_w%20%3D%20s4_width.value%0A%20%20%20%20s4_m%20%3D%20s4_num_windows.value%0A%20%20%20%20s4_max_lag%20%3D%2015%0A%0A%20%20%20%20s4_x%2C%20s4_y%2C%20_%20%3D%20generate_xy(%0A%20%20%20%20%20%20%20%20s4_m%20*%20s4_w%2C%0A%20%20%20%20%20%20%20%20np.random.default_rng(31)%2C%0A%20%20%20%20%20%20%20%20noise_level%3Dnoise_slider.value%2C%0A%20%20%20%20%20%20%20%20target_filter%3Dtarget_filter_choice.value%2C%0A%20%20%20%20%20%20%20%20random_seed%3Dtarget_filter_seed.value%2C%0A%20%20%20%20)%0A%0A%20%20%20%20s4_acovs%20%3D%20%5B%5D%0A%20%20%20%20s4_ccovs%20%3D%20%5B%5D%0A%20%20%20%20for%20_j%20in%20range(s4_m)%3A%0A%20%20%20%20%20%20%20%20_seg_x%20%3D%20s4_x%5B_j%20*%20s4_w%20%3A%20(_j%20%2B%201)%20*%20s4_w%5D%0A%20%20%20%20%20%20%20%20_seg_y%20%3D%20s4_y%5B_j%20*%20s4_w%20%3A%20(_j%20%2B%201)%20*%20s4_w%5D%0A%20%20%20%20%20%20%20%20s4_acovs.append(estimate_autocov(_seg_x%2C%20s4_max_lag))%0A%20%20%20%20%20%20%20%20_lags%2C%20_cc%20%3D%20estimate_crosscov(_seg_x%2C%20_seg_y%2C%20s4_max_lag)%0A%20%20%20%20%20%20%20%20s4_ccovs.append(_cc)%0A%20%20%20%20s4_acovs%20%3D%20np.array(s4_acovs)%0A%20%20%20%20s4_ccovs%20%3D%20np.array(s4_ccovs)%0A%20%20%20%20s4_lags%20%3D%20_lags%0A%0A%20%20%20%20s4_ens_a%20%3D%20%5B%5D%0A%20%20%20%20s4_ens_c%20%3D%20%5B%5D%0A%20%20%20%20for%20_seed%20in%20range(200)%3A%0A%20%20%20%20%20%20%20%20_ex%2C%20_ey%2C%20_%20%3D%20generate_xy(%0A%20%20%20%20%20%20%20%20%20%20%20%20s4_w%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20np.random.default_rng(1000%20%2B%20_seed)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20noise_level%3Dnoise_slider.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20target_filter%3Dtarget_filter_choice.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20random_seed%3Dtarget_filter_seed.value%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20s4_ens_a.append(estimate_autocov(_ex%2C%20s4_max_lag))%0A%20%20%20%20%20%20%20%20_%2C%20_ecc%20%3D%20estimate_crosscov(_ex%2C%20_ey%2C%20s4_max_lag)%0A%20%20%20%20%20%20%20%20s4_ens_c.append(_ecc)%0A%20%20%20%20s4_ens_autocov%20%3D%20np.mean(s4_ens_a%2C%20axis%3D0)%0A%20%20%20%20s4_ens_crosscov%20%3D%20np.mean(s4_ens_c%2C%20axis%3D0)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20s4_acovs%2C%0A%20%20%20%20%20%20%20%20s4_ccovs%2C%0A%20%20%20%20%20%20%20%20s4_ens_autocov%2C%0A%20%20%20%20%20%20%20%20s4_ens_crosscov%2C%0A%20%20%20%20%20%20%20%20s4_lags%2C%0A%20%20%20%20%20%20%20%20s4_max_lag%2C%0A%20%20%20%20%20%20%20%20s4_w%2C%0A%20%20%20%20%20%20%20%20s4_x%2C%0A%20%20%20%20%20%20%20%20s4_y%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20np%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20s4_acovs%2C%0A%20%20%20%20s4_ccovs%2C%0A%20%20%20%20s4_ens_autocov%2C%0A%20%20%20%20s4_ens_crosscov%2C%0A%20%20%20%20s4_lags%2C%0A%20%20%20%20s4_max_lag%2C%0A%20%20%20%20s4_w%2C%0A%20%20%20%20s4_x%2C%0A%20%20%20%20s4_y%2C%0A)%3A%0A%20%20%20%20fig_erg%2C%20axes_erg%20%3D%20plt.subplots(2%2C%202%2C%20figsize%3D(15%2C%207))%0A%20%20%20%20s4_time%20%3D%20np.arange(len(s4_x))%0A%20%20%20%20s4_boundaries%20%3D%20np.arange(0%2C%20len(s4_x)%20%2B%201%2C%20s4_w)%0A%0A%20%20%20%20for%20_row%2C%20(_sig%2C%20_name)%20in%20enumerate(((s4_x%2C%20%22Observation%20X%22)%2C%20(s4_y%2C%20%22Target%20Y%22)))%3A%0A%20%20%20%20%20%20%20%20_ax%20%3D%20axes_erg%5B_row%2C%200%5D%0A%20%20%20%20%20%20%20%20_ax.plot(s4_time%2C%20_sig%2C%20color%3D%220.6%22%2C%20linewidth%3D0.9)%0A%20%20%20%20%20%20%20%20for%20_b%20in%20s4_boundaries%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_ax.axvline(_b%2C%20color%3D%22steelblue%22%2C%20linewidth%3D0.6%2C%20alpha%3D0.4)%0A%20%20%20%20%20%20%20%20_ax.set_title(f%22%7B_name%7D%20%E2%80%94%20one%20record%20split%20into%20windows%22%2C%20fontsize%3D11%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20%20%20%20%20_ax.set_ylabel(%22amplitude%22%2C%20fontsize%3D10)%0A%20%20%20%20%20%20%20%20_ax.grid(True%2C%20alpha%3D0.3)%0A%20%20%20%20axes_erg%5B1%2C%200%5D.set_xlabel(%22Time%20index%20k%22%2C%20fontsize%3D11)%0A%0A%20%20%20%20s4_pos_lags%20%3D%20np.arange(s4_max_lag%20%2B%201)%0A%20%20%20%20_faint%20%3D%20min(len(s4_acovs)%2C%2025)%0A%20%20%20%20for%20_idx%20in%20range(_faint)%3A%0A%20%20%20%20%20%20%20%20axes_erg%5B0%2C%201%5D.plot(s4_pos_lags%2C%20s4_acovs%5B_idx%5D%2C%20color%3D%22steelblue%22%2C%20linewidth%3D0.5%2C%20alpha%3D0.25)%0A%20%20%20%20%20%20%20%20axes_erg%5B1%2C%201%5D.plot(s4_lags%2C%20s4_ccovs%5B_idx%5D%2C%20color%3D%22steelblue%22%2C%20linewidth%3D0.5%2C%20alpha%3D0.25)%0A%20%20%20%20axes_erg%5B0%2C%201%5D.plot(s4_pos_lags%2C%20s4_acovs.mean(axis%3D0)%2C%20color%3D%22steelblue%22%2C%20linewidth%3D2.6%2C%20label%3Dr%22Window%20average%20%20%24%5Chat%7BR%7D_%7BXX%7D%24%22)%0A%20%20%20%20axes_erg%5B0%2C%201%5D.plot(s4_pos_lags%2C%20s4_ens_autocov%2C%20color%3D%22crimson%22%2C%20linewidth%3D2.0%2C%20linestyle%3D%22--%22%2C%20label%3Dr%22Ensemble%20average%20%20%24R_%7BXX%7D%24%22)%0A%20%20%20%20axes_erg%5B0%2C%201%5D.set_title(r%22Autocorrelation%20%24R_%7BXX%7D%5B%5Ckappa%5D%24%22%2C%20fontsize%3D11%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20axes_erg%5B0%2C%201%5D.set_ylabel(%22covariance%22%2C%20fontsize%3D10)%0A%20%20%20%20axes_erg%5B0%2C%201%5D.legend(fontsize%3D9)%0A%20%20%20%20axes_erg%5B0%2C%201%5D.grid(True%2C%20alpha%3D0.3)%0A%0A%20%20%20%20axes_erg%5B1%2C%201%5D.plot(s4_lags%2C%20s4_ccovs.mean(axis%3D0)%2C%20color%3D%22steelblue%22%2C%20linewidth%3D2.6%2C%20label%3Dr%22Window%20average%20%20%24%5Chat%7BR%7D_%7BXY%7D%24%22)%0A%20%20%20%20axes_erg%5B1%2C%201%5D.plot(s4_lags%2C%20s4_ens_crosscov%2C%20color%3D%22crimson%22%2C%20linewidth%3D2.0%2C%20linestyle%3D%22--%22%2C%20label%3Dr%22Ensemble%20average%20%20%24R_%7BXY%7D%24%22)%0A%20%20%20%20axes_erg%5B1%2C%201%5D.set_title(r%22Cross-correlation%20%24R_%7BXY%7D%5B%5Ckappa%5D%24%22%2C%20fontsize%3D11%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20axes_erg%5B1%2C%201%5D.set_xlabel(r%22Lag%20%24%5Ckappa%24%22%2C%20fontsize%3D10)%0A%20%20%20%20axes_erg%5B1%2C%201%5D.set_ylabel(%22covariance%22%2C%20fontsize%3D10)%0A%20%20%20%20axes_erg%5B1%2C%201%5D.legend(fontsize%3D9)%0A%20%20%20%20axes_erg%5B1%2C%201%5D.grid(True%2C%20alpha%3D0.3)%0A%20%20%20%20plt.tight_layout()%0A%20%20%20%20return%20(fig_erg%2C)%0A%0A%0A%40app.cell%0Adef%20_(fig_erg%2C%20mo%2C%20s4_num_windows%2C%20s4_width)%3A%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Bs4_num_windows%2C%20s4_width%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.mpl.interactive(fig_erg)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20Each%20faint%20curve%20is%20the%20correlation%20estimated%20from%20**one%20window**%20of%20a%20single%20record.%0A%20%20%20%20%20%20%20%20%20%20%20%20Averaging%20them%20(the%20**time%20average**%2C%20bold%20blue)%20converges%20to%20the%20**ensemble%20average**%0A%20%20%20%20%20%20%20%20%20%20%20%20(red%20dashed)%20taken%20across%20many%20independent%20realizations.%20**Ergodicity**%20is%20what%20lets%20us%0A%20%20%20%20%20%20%20%20%20%20%20%20replace%20the%20unavailable%20ensemble%20average%20with%20averaging%20over%20windows%20of%20the%20one%20record%0A%20%20%20%20%20%20%20%20%20%20%20%20we%20actually%20observe%20%E2%80%94%20exactly%20the%20%24%5Ctfrac1N%5Cchi%5E%5Ctop%5Cchi%24%20and%20%24%5Ctfrac1N%5Cchi%5E%5Ctop%0A%20%20%20%20%20%20%20%20%20%20%20%20%5Cmathbf%7By%7D%24%20of%20the%20least-squares%20fit.%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A