ar1 autocorrelation psd interactive

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.11%22%0A%23%20dependencies%20%3D%20%5B%22marimo%3E%3D0.23.9%22%2C%20%22matplotlib%3D%3D3.10.8%22%2C%20%22numpy%3D%3D2.4.3%22%5D%0A%23%20%0A%23%20%5Btool.marimo.export%5D%0A%23%20lock_kind%20%3D%20%22resolved%22%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.23.13%22%0Aapp%20%3D%20marimo.App()%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%20%20%20%20import%20numpy%20as%20np%0A%0A%20%20%20%20plt.style.use(%22default%22)%0A%20%20%20%20return%20mo%2C%20np%2C%20plt%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Autocorrelation%20and%20PSD%20Estimation%20for%20an%20AR(1)%20Gaussian%20Process%0A%20%20%20%20%23%23%20Finite-data%20effects%2C%20autocorrelation%20Fourier%20transforms%2C%20and%20periodograms%0A%0A%20%20%20%20We%20observe%20a%20stationary%20AR(1)%20process%0A%0A%20%20%20%20%24%24%0A%20%20%20%20X%5Bk%5D%20%3D%20a%20X%5Bk-1%5D%20%2B%20W%5Bk%5D%2C%0A%20%20%20%20%5Cqquad%20W%5Bk%5D%20%5Csim%20%5Cmathcal%7BN%7D(0%2C%20%5Csigma_W%5E2)%2C%20%5Cqquad%20%7Ca%7C%3C1.%0A%20%20%20%20%24%24%0A%0A%20%20%20%20Equivalently%2C%20%24X%5Bk%5D%24%20is%20white%20Gaussian%20noise%20%24W%5Bk%5D%24%20filtered%20by%20a%20stable%20first-order%20IIR%20filter%3A%0A%0A%20%20%20%20%24%24%0A%20%20%20%20H(z)%20%3D%20%5Cfrac%7B1%7D%7B1%20-%20a%20z%5E%7B-1%7D%7D.%0A%20%20%20%20%24%24%0A%0A%20%20%20%20The%20impulse%20response%20is%0A%0A%20%20%20%20%24%24%0A%20%20%20%20h%5Bk%5D%20%3D%20a%5Ek%20u%5Bk%5D%2C%0A%20%20%20%20%24%24%0A%0A%20%20%20%20so%20the%20frequency%20response%20is%0A%0A%20%20%20%20%24%24%0A%20%20%20%20H(e%5E%7Bj%5COmega%7D)%20%3D%20%5Cfrac%7B1%7D%7B1%20-%20a%20e%5E%7B-j%5COmega%7D%7D.%0A%20%20%20%20%24%24%0A%0A%20%20%20%20Filtering%20white%20noise%20gives%20the%20PSD%20immediately%3A%0A%0A%20%20%20%20%24%24%0A%20%20%20%20S_%7BXX%7D(e%5E%7Bj%5COmega%7D)%0A%20%20%20%20%3D%20%5Csigma_W%5E2%20%7CH(e%5E%7Bj%5COmega%7D)%7C%5E2%0A%20%20%20%20%3D%20%5Cfrac%7B%5Csigma_W%5E2%7D%7B1%20%2B%20a%5E2%20-%202a%5Ccos(%5COmega)%7D.%0A%20%20%20%20%24%24%0A%0A%20%20%20%20The%20autocorrelation%20follows%20from%20the%20inverse%20Fourier%20transform%2C%20or%20the%20correlation%20of%20the%20filter%20impulse%20response%3A%0A%0A%20%20%20%20%24%24%0A%20%20%20%20R_%7BXX%7D%5B%5Ckappa%5D%20%3D%20%5Cfrac%7B%5Csigma_W%5E2%7D%7B1%20-%20a%5E2%7Da%5E%7B%7C%5Ckappa%7C%7D.%0A%20%20%20%20%24%24%0A%0A%20%20%20%20We%20estimate%20the%20autocorrelation%20from%20a%20single%20finite%20realization%20%24x%5Bk%5D%24%3A%0A%0A%20%20%20%20%24%24%0A%20%20%20%20%5Cwidehat%7BR%7D_%7BXX%7D%5B%5Ckappa%5D%0A%20%20%20%20%3D%20%5Cfrac%7B1%7D%7BN-%5Ckappa%7D%5Csum_%7Bk%3D0%7D%5E%7BN-%5Ckappa-1%7D%20x%5Bk%2B%5Ckappa%5Dx%5Bk%5D%2C%0A%20%20%20%20%5Cqquad%20%5Ckappa%20%5Cge%200.%0A%20%20%20%20%24%24%0A%0A%20%20%20%20This%20notebook%20compares%20PSD%20estimates%20obtained%20from%3A%0A%0A%20%20%20%20-%20the%20Fourier%20transform%20of%20%24%5Cwidehat%7BR%7D_%7BXX%7D%5B%5Ckappa%5D%24%0A%20%20%20%20-%20the%20raw%20periodogram%0A%20%20%20%20-%20averaged%20rectangular-window%20FFT%20periodograms%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(np)%3A%0A%20%20%20%20def%20simulate_ar1(phi%2C%20sigma_eps%2C%20n%2C%20rng)%3A%0A%20%20%20%20%20%20%20%20burn_in%20%3D%20max(200%2C%205%20*%20n)%0A%20%20%20%20%20%20%20%20noise%20%3D%20rng.normal(loc%3D0.0%2C%20scale%3Dsigma_eps%2C%20size%3Dn%20%2B%20burn_in)%0A%20%20%20%20%20%20%20%20x%20%3D%20np.empty(n%20%2B%20burn_in)%0A%20%20%20%20%20%20%20%20x%5B0%5D%20%3D%20noise%5B0%5D%20%2F%20np.sqrt(max(1%20-%20phi**2%2C%201e-12))%0A%20%20%20%20%20%20%20%20for%20idx%20in%20range(1%2C%20n%20%2B%20burn_in)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20x%5Bidx%5D%20%3D%20phi%20*%20x%5Bidx%20-%201%5D%20%2B%20noise%5Bidx%5D%0A%20%20%20%20%20%20%20%20return%20x%5Bburn_in%3A%5D%0A%0A%20%20%20%20def%20autocovariance_estimate(x%2C%20max_lag)%3A%0A%20%20%20%20%20%20%20%20n%20%3D%20len(x)%0A%20%20%20%20%20%20%20%20autocov%20%3D%20np.empty(max_lag%20%2B%201)%0A%20%20%20%20%20%20%20%20for%20lag%20in%20range(max_lag%20%2B%201)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20numerator%20%3D%20np.dot(x%5B%3A%20n%20-%20lag%5D%2C%20x%5Blag%3A%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20autocov%5Blag%5D%20%3D%20numerator%20%2F%20(n%20-%20lag)%0A%20%20%20%20%20%20%20%20return%20autocov%0A%0A%20%20%20%20def%20autocovariance_to_psd(autocov%2C%20n_fft)%3A%0A%20%20%20%20%20%20%20%20padded%20%3D%20np.zeros(n_fft)%0A%20%20%20%20%20%20%20%20padded%5B%3A%20len(autocov)%5D%20%3D%20autocov%0A%20%20%20%20%20%20%20%20padded%5B-(len(autocov)%20-%201)%20%3A%5D%20%3D%20autocov%5B%3A0%3A-1%5D%0A%20%20%20%20%20%20%20%20spectrum%20%3D%20np.real(np.fft.fft(padded))%0A%20%20%20%20%20%20%20%20freqs%20%3D%20np.fft.fftfreq(n_fft%2C%20d%3D1.0)%0A%20%20%20%20%20%20%20%20order%20%3D%20np.argsort(freqs)%0A%20%20%20%20%20%20%20%20return%20freqs%5Border%5D%2C%20spectrum%5Border%5D%0A%0A%20%20%20%20def%20periodogram_estimate(x%2C%20n_fft)%3A%0A%20%20%20%20%20%20%20%20fft_vals%20%3D%20np.fft.fft(x%2C%20n%3Dn_fft)%0A%20%20%20%20%20%20%20%20psd%20%3D%20np.abs(fft_vals)%20**%202%20%2F%20len(x)%0A%20%20%20%20%20%20%20%20freqs%20%3D%20np.fft.fftfreq(n_fft%2C%20d%3D1.0)%0A%20%20%20%20%20%20%20%20order%20%3D%20np.argsort(freqs)%0A%20%20%20%20%20%20%20%20return%20freqs%5Border%5D%2C%20psd%5Border%5D%0A%0A%20%20%20%20def%20averaged_rectangular_periodogram(x%2C%20segment_length%2C%20n_fft)%3A%0A%20%20%20%20%20%20%20%20num_segments%20%3D%20len(x)%20%2F%2F%20segment_length%0A%20%20%20%20%20%20%20%20trimmed%20%3D%20x%5B%3A%20num_segments%20*%20segment_length%5D%0A%20%20%20%20%20%20%20%20segments%20%3D%20trimmed.reshape(num_segments%2C%20segment_length)%0A%20%20%20%20%20%20%20%20fft_vals%20%3D%20np.fft.fft(segments%2C%20n%3Dn_fft%2C%20axis%3D1)%0A%20%20%20%20%20%20%20%20psd_segments%20%3D%20np.abs(fft_vals)%20**%202%20%2F%20segment_length%0A%20%20%20%20%20%20%20%20psd%20%3D%20np.mean(psd_segments%2C%20axis%3D0)%0A%20%20%20%20%20%20%20%20freqs%20%3D%20np.fft.fftfreq(n_fft%2C%20d%3D1.0)%0A%20%20%20%20%20%20%20%20order%20%3D%20np.argsort(freqs)%0A%20%20%20%20%20%20%20%20return%20freqs%5Border%5D%2C%20psd%5Border%5D%2C%20num_segments%0A%0A%20%20%20%20def%20theoretical_psd(freqs%2C%20phi%2C%20sigma_eps)%3A%0A%20%20%20%20%20%20%20%20return%20sigma_eps**2%20%2F%20(1%20%2B%20phi**2%20-%202%20*%20phi%20*%20np.cos(2%20*%20np.pi%20*%20freqs))%0A%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20autocovariance_estimate%2C%0A%20%20%20%20%20%20%20%20autocovariance_to_psd%2C%0A%20%20%20%20%20%20%20%20averaged_rectangular_periodogram%2C%0A%20%20%20%20%20%20%20%20periodogram_estimate%2C%0A%20%20%20%20%20%20%20%20simulate_ar1%2C%0A%20%20%20%20%20%20%20%20theoretical_psd%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%23%201.%20One%20AR(1)%20Realization%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20n_obs%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20value%3D512%2C%0A%20%20%20%20%20%20%20%20start%3D64%2C%0A%20%20%20%20%20%20%20%20stop%3D4096%2C%0A%20%20%20%20%20%20%20%20step%3D64%2C%0A%20%20%20%20%20%20%20%20label%3D%22Record%20length%20(N)%3A%22%2C%0A%20%20%20%20)%0A%20%20%20%20phi%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20value%3D0.85%2C%0A%20%20%20%20%20%20%20%20start%3D-0.95%2C%0A%20%20%20%20%20%20%20%20stop%3D0.95%2C%0A%20%20%20%20%20%20%20%20step%3D0.05%2C%0A%20%20%20%20%20%20%20%20label%3D%22AR%20coefficient%20(a)%3A%22%2C%0A%20%20%20%20)%0A%20%20%20%20sigma_eps%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20value%3D1.0%2C%0A%20%20%20%20%20%20%20%20start%3D0.2%2C%0A%20%20%20%20%20%20%20%20stop%3D3.0%2C%0A%20%20%20%20%20%20%20%20step%3D0.1%2C%0A%20%20%20%20%20%20%20%20label%3D%22Innovation%20std%20(sigma_W)%3A%22%2C%0A%20%20%20%20)%0A%20%20%20%20max_lag%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20value%3D60%2C%0A%20%20%20%20%20%20%20%20start%3D5%2C%0A%20%20%20%20%20%20%20%20stop%3D300%2C%0A%20%20%20%20%20%20%20%20step%3D5%2C%0A%20%20%20%20%20%20%20%20label%3D%22Maximum%20autocorrelation%20lag%3A%22%2C%0A%20%20%20%20)%0A%20%20%20%20seed%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20value%3D12%2C%0A%20%20%20%20%20%20%20%20start%3D0%2C%0A%20%20%20%20%20%20%20%20stop%3D999%2C%0A%20%20%20%20%20%20%20%20step%3D1%2C%0A%20%20%20%20%20%20%20%20label%3D%22Random%20seed%3A%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20max_lag%2C%20n_obs%2C%20phi%2C%20seed%2C%20sigma_eps%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20autocovariance_estimate%2C%0A%20%20%20%20max_lag%2C%0A%20%20%20%20n_obs%2C%0A%20%20%20%20np%2C%0A%20%20%20%20phi%2C%0A%20%20%20%20seed%2C%0A%20%20%20%20sigma_eps%2C%0A%20%20%20%20simulate_ar1%2C%0A)%3A%0A%20%20%20%20rng%20%3D%20np.random.default_rng(seed.value)%0A%20%20%20%20ar1_sample%20%3D%20simulate_ar1(phi.value%2C%20sigma_eps.value%2C%20n_obs.value%2C%20rng)%0A%20%20%20%20usable_max_lag%20%3D%20min(max_lag.value%2C%20n_obs.value%20-%202)%0A%20%20%20%20lags%20%3D%20np.arange(usable_max_lag%20%2B%201)%0A%0A%20%20%20%20autocov_unbiased%20%3D%20autocovariance_estimate(ar1_sample%2C%20usable_max_lag)%0A%20%20%20%20autocorr_unbiased%20%3D%20autocov_unbiased%20%2F%20autocov_unbiased%5B0%5D%0A%0A%20%20%20%20stationary_variance%20%3D%20sigma_eps.value**2%20%2F%20(1%20-%20phi.value**2)%0A%20%20%20%20true_autocorr%20%3D%20phi.value%20**%20np.abs(lags)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20ar1_sample%2C%0A%20%20%20%20%20%20%20%20autocorr_unbiased%2C%0A%20%20%20%20%20%20%20%20autocov_unbiased%2C%0A%20%20%20%20%20%20%20%20lags%2C%0A%20%20%20%20%20%20%20%20stationary_variance%2C%0A%20%20%20%20%20%20%20%20true_autocorr%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20ar1_sample%2C%0A%20%20%20%20autocorr_unbiased%2C%0A%20%20%20%20lags%2C%0A%20%20%20%20n_obs%2C%0A%20%20%20%20phi%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20sigma_eps%2C%0A%20%20%20%20stationary_variance%2C%0A%20%20%20%20true_autocorr%2C%0A)%3A%0A%20%20%20%20fig1%2C%20(ax_series%2C%20ax_acf)%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(14%2C%204.8))%0A%0A%20%20%20%20time_index%20%3D%20range(len(ar1_sample))%0A%20%20%20%20ax_series.plot(time_index%2C%20ar1_sample%2C%20color%3D%22steelblue%22%2C%20linewidth%3D1.2)%0A%20%20%20%20ax_series.axhline(0%2C%20color%3D%22black%22%2C%20linewidth%3D1%2C%20alpha%3D0.6)%0A%20%20%20%20ax_series.set_title(%22One%20Simulated%20AR(1)%20Path%22%2C%20fontsize%3D12%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20ax_series.set_xlabel(%22Time%20index%22%2C%20fontsize%3D11)%0A%20%20%20%20ax_series.set_ylabel(%22Value%22%2C%20fontsize%3D11)%0A%20%20%20%20ax_series.grid(True%2C%20alpha%3D0.3)%0A%0A%20%20%20%20ax_acf.plot(lags%2C%20true_autocorr%2C%20color%3D%22red%22%2C%20linewidth%3D2.5%2C%20label%3D%22True%20ACF%22)%0A%20%20%20%20ax_acf.stem(lags%2C%20autocorr_unbiased%2C%20linefmt%3D%22C0-%22%2C%20markerfmt%3D%22C0o%22%2C%20basefmt%3D%22%20%22%2C%20label%3D%22Sample%20estimate%22)%0A%20%20%20%20ax_acf.axhline(0%2C%20color%3D%22black%22%2C%20linewidth%3D1%2C%20alpha%3D0.6)%0A%20%20%20%20ax_acf.set_title(%22Autocorrelation%20Estimate%20from%20Finite%20Data%22%2C%20fontsize%3D12%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20ax_acf.set_xlabel(%22Lag%22%2C%20fontsize%3D11)%0A%20%20%20%20ax_acf.set_ylabel(%22Autocorrelation%22%2C%20fontsize%3D11)%0A%20%20%20%20ax_acf.set_ylim(%5B-1.05%2C%201.05%5D)%0A%20%20%20%20ax_acf.legend(fontsize%3D9)%0A%20%20%20%20ax_acf.grid(True%2C%20alpha%3D0.3)%0A%0A%20%20%20%20plt.tight_layout()%0A%0A%20%20%20%20process_stats%20%3D%20f%22%22%22%0A%20%20%20%20**AR(1)%20process%3A**%0A%20%20%20%20-%20%24a%24%3A%20%7Bphi.value%3A.2f%7D%0A%20%20%20%20-%20%24%5C%5Csigma_W%24%3A%20%7Bsigma_eps.value%3A.2f%7D%0A%20%20%20%20-%20Theoretical%20variance%20%24R_%7B%7BXX%7D%7D%5B0%5D%3D%5C%5Csigma_X%5E2%24%3A%20%7Bstationary_variance%3A.4f%7D%0A%20%20%20%20-%20Record%20length%20%24N%24%3A%20%7Bn_obs.value%7D%0A%20%20%20%20%22%22%22%0A%20%20%20%20return%20fig1%2C%20process_stats%0A%0A%0A%40app.cell%0Adef%20_(fig1%2C%20max_lag%2C%20mo%2C%20n_obs%2C%20phi%2C%20process_stats%2C%20seed%2C%20sigma_eps)%3A%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.hstack(%5Bn_obs%2C%20phi%2C%20sigma_eps%2C%20max_lag%2C%20seed%5D)%2C%0A%20%20%20%20%20%20%20%20mo.mpl.interactive(fig1)%2C%0A%20%20%20%20%20%20%20%20mo.md(process_stats)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%23%202.%20Finite-data%20Effects%20Across%20Repeated%20Samples%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20num_paths%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20value%3D50%2C%0A%20%20%20%20%20%20%20%20start%3D10%2C%0A%20%20%20%20%20%20%20%20stop%3D300%2C%0A%20%20%20%20%20%20%20%20step%3D10%2C%0A%20%20%20%20%20%20%20%20label%3D%22Repeated%20AR(1)%20paths%3A%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(num_paths%2C)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20autocovariance_estimate%2C%0A%20%20%20%20max_lag%2C%0A%20%20%20%20n_obs%2C%0A%20%20%20%20np%2C%0A%20%20%20%20num_paths%2C%0A%20%20%20%20phi%2C%0A%20%20%20%20seed%2C%0A%20%20%20%20sigma_eps%2C%0A%20%20%20%20simulate_ar1%2C%0A)%3A%0A%20%20%20%20rng_repeated%20%3D%20np.random.default_rng(seed.value%20%2B%2010_000)%0A%20%20%20%20usable_repeated_lag%20%3D%20min(max_lag.value%2C%20n_obs.value%20-%202)%20%2B%201%0A%20%20%20%20repeated_paths%20%3D%20np.empty((num_paths.value%2C%20n_obs.value))%0A%20%20%20%20repeated_unbiased_acf%20%3D%20np.empty((num_paths.value%2C%20usable_repeated_lag))%0A%0A%20%20%20%20for%20_path_idx%20in%20range(num_paths.value)%3A%0A%20%20%20%20%20%20%20%20_path%20%3D%20simulate_ar1(phi.value%2C%20sigma_eps.value%2C%20n_obs.value%2C%20rng_repeated)%0A%20%20%20%20%20%20%20%20repeated_paths%5B_path_idx%5D%20%3D%20_path%0A%20%20%20%20%20%20%20%20_path_autocov_unbiased%20%3D%20autocovariance_estimate(_path%2C%20usable_repeated_lag%20-%201)%0A%20%20%20%20%20%20%20%20repeated_unbiased_acf%5B_path_idx%5D%20%3D%20_path_autocov_unbiased%20%2F%20_path_autocov_unbiased%5B0%5D%0A%0A%20%20%20%20repeated_lags%20%3D%20np.arange(usable_repeated_lag)%0A%20%20%20%20repeated_true_acf%20%3D%20phi.value%20**%20np.abs(repeated_lags)%0A%20%20%20%20mean_unbiased_acf%20%3D%20np.mean(repeated_unbiased_acf%2C%20axis%3D0)%0A%20%20%20%20std_unbiased_acf%20%3D%20np.std(repeated_unbiased_acf%2C%20axis%3D0)%0A%20%20%20%20lo_unbiased_acf%20%3D%20mean_unbiased_acf%20-%202%20*%20std_unbiased_acf%0A%20%20%20%20hi_unbiased_acf%20%3D%20mean_unbiased_acf%20%2B%202%20*%20std_unbiased_acf%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20hi_unbiased_acf%2C%0A%20%20%20%20%20%20%20%20lo_unbiased_acf%2C%0A%20%20%20%20%20%20%20%20mean_unbiased_acf%2C%0A%20%20%20%20%20%20%20%20repeated_lags%2C%0A%20%20%20%20%20%20%20%20repeated_paths%2C%0A%20%20%20%20%20%20%20%20repeated_true_acf%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20hi_unbiased_acf%2C%0A%20%20%20%20lo_unbiased_acf%2C%0A%20%20%20%20mean_unbiased_acf%2C%0A%20%20%20%20num_paths%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20repeated_lags%2C%0A%20%20%20%20repeated_true_acf%2C%0A)%3A%0A%20%20%20%20fig2%2C%20ax_unbiased%20%3D%20plt.subplots(figsize%3D(12%2C%205))%0A%0A%20%20%20%20ax_unbiased.fill_between(%0A%20%20%20%20%20%20%20%20repeated_lags%2C%0A%20%20%20%20%20%20%20%20lo_unbiased_acf%2C%0A%20%20%20%20%20%20%20%20hi_unbiased_acf%2C%0A%20%20%20%20%20%20%20%20color%3D%22steelblue%22%2C%0A%20%20%20%20%20%20%20%20alpha%3D0.2%2C%0A%20%20%20%20%20%20%20%20label%3D%22Mean%20%C2%B1%202%CF%83%22%2C%0A%20%20%20%20)%0A%20%20%20%20ax_unbiased.plot(repeated_lags%2C%20mean_unbiased_acf%2C%20color%3D%22steelblue%22%2C%20linewidth%3D2.5%2C%20label%3D%22Mean%20estimate%22)%0A%20%20%20%20ax_unbiased.plot(repeated_lags%2C%20repeated_true_acf%2C%20color%3D%22red%22%2C%20linewidth%3D2.5%2C%20label%3D%22True%20ACF%22)%0A%20%20%20%20ax_unbiased.axhline(0%2C%20color%3D%22black%22%2C%20linewidth%3D1%2C%20alpha%3D0.6)%0A%20%20%20%20ax_unbiased.set_title(%22Finite-data%20Variation%20of%20the%20ACF%20Estimator%22%2C%20fontsize%3D12%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20ax_unbiased.set_xlabel(%22Lag%22%2C%20fontsize%3D11)%0A%20%20%20%20ax_unbiased.set_ylabel(%22Autocorrelation%22%2C%20fontsize%3D11)%0A%20%20%20%20ax_unbiased.set_ylim(%5B-1.05%2C%201.05%5D)%0A%20%20%20%20ax_unbiased.legend(fontsize%3D9)%0A%20%20%20%20ax_unbiased.grid(True%2C%20alpha%3D0.3)%0A%0A%20%20%20%20fig2.suptitle(f%22%7Bnum_paths.value%7D%20Independent%20AR(1)%20Paths%22%2C%20fontsize%3D12%2C%20fontweight%3D%22bold%22%2C%20y%3D1.02)%0A%20%20%20%20plt.tight_layout()%0A%20%20%20%20return%20(fig2%2C)%0A%0A%0A%40app.cell%0Adef%20_(fig2%2C%20mo%2C%20n_obs%2C%20num_paths%2C%20seed)%3A%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.hstack(%5Bnum_paths%2C%20n_obs%2C%20seed%5D)%2C%0A%20%20%20%20%20%20%20%20mo.mpl.interactive(fig2)%2C%0A%20%20%20%20%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%20%20%20%20**Shaded%20band%20%E2%80%94%20Mean%20%C2%B1%202%CF%83%3A**%0A%20%20%20%20%20%20%20%20At%20each%20lag%20%24%5Ckappa%24%2C%20the%20standard%20deviation%20%24%5Csigma(%5Ckappa)%24%20of%20the%20ACF%20estimate%20is%20computed%0A%20%20%20%20%20%20%20%20across%20the%20repeated%20paths%2C%20and%20the%20band%20shows%0A%20%20%20%20%20%20%20%20%24%5Cbigl%5B%5Coverline%7B%5Cwidehat%7BR%7D%7D(%5Ckappa)%20-%202%5Csigma(%5Ckappa)%2C%5C%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5Coverline%7B%5Cwidehat%7BR%7D%7D(%5Ckappa)%20%2B%202%5Csigma(%5Ckappa)%5Cbigr%5D%24.%0A%20%20%20%20%20%20%20%20For%20a%20normally%20distributed%20estimator%20this%20would%20contain%20roughly%2095.4%20%25%20of%20individual%0A%20%20%20%20%20%20%20%20estimates%3B%20here%20it%20serves%20as%20a%20calibrated%20measure%20of%20estimator%20variability%20across%20finite%0A%20%20%20%20%20%20%20%20data%20records.%0A%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%203.%20PSD%20from%20the%20Estimated%20Autocorrelation%0A%0A%20%20%20%20By%20the%20**Wiener%E2%80%93Khinchin%20theorem**%2C%20the%20true%20PSD%20is%20the%20DTFT%20of%20the%20autocorrelation%20sequence%3A%0A%0A%20%20%20%20%24%24%0A%20%20%20%20S_%7BXX%7D(e%5E%7Bj%5COmega%7D)%20%3D%20%5Csum_%7B%5Ckappa%3D-%5Cinfty%7D%5E%7B%2B%5Cinfty%7D%20R_%7BXX%7D%5B%5Ckappa%5D%5C%2C%20e%5E%7B-j%5COmega%5Ckappa%7D.%0A%20%20%20%20%24%24%0A%0A%20%20%20%20Replacing%20the%20true%20ACF%20with%20the%20finite%20estimate%20%24%5Cwidehat%7BR%7D_%7BXX%7D%5B%5Ckappa%5D%24%20(truncated%20at%20%24%7C%5Ckappa%7C%20%5Cle%20L%24)%20gives%20the%20**correlogram**%20PSD%20estimate.%0A%20%20%20%20Because%20the%20truncated%20sequence%20need%20not%20be%20positive%20semi-definite%2C%20the%20estimate%20can%20be%20negative%20at%20some%20frequencies%20even%20though%20the%20true%20PSD%20satisfies%20%24S_%7BXX%7D(e%5E%7Bj%5COmega%7D)%20%5Cge%200%24.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20autocov_unbiased%2C%0A%20%20%20%20autocovariance_estimate%2C%0A%20%20%20%20autocovariance_to_psd%2C%0A%20%20%20%20n_obs%2C%0A%20%20%20%20np%2C%0A%20%20%20%20phi%2C%0A%20%20%20%20repeated_paths%2C%0A%20%20%20%20sigma_eps%2C%0A%20%20%20%20theoretical_psd%2C%0A)%3A%0A%20%20%20%20n_fft_psd%20%3D%20max(2048%2C%202%20**%20int(np.ceil(np.log2(4%20*%20n_obs.value))))%0A%20%20%20%20freqs_acov%2C%20psd_from_unbiased_acov%20%3D%20autocovariance_to_psd(autocov_unbiased%2C%20n_fft_psd)%0A%20%20%20%20repeated_psd_from_acov%20%3D%20np.empty((len(repeated_paths)%2C%20len(freqs_acov)))%0A%20%20%20%20for%20_path_idx%2C%20_path%20in%20enumerate(repeated_paths)%3A%0A%20%20%20%20%20%20%20%20_path_autocov%20%3D%20autocovariance_estimate(_path%2C%20len(autocov_unbiased)%20-%201)%0A%20%20%20%20%20%20%20%20_%2C%20repeated_psd_from_acov%5B_path_idx%5D%20%3D%20autocovariance_to_psd(_path_autocov%2C%20n_fft_psd)%0A%0A%20%20%20%20mean_psd_from_acov%20%3D%20np.mean(repeated_psd_from_acov%2C%20axis%3D0)%0A%20%20%20%20std_psd_from_acov%20%3D%20np.std(repeated_psd_from_acov%2C%20axis%3D0)%0A%20%20%20%20lo_psd_from_acov%20%3D%20mean_psd_from_acov%20-%202%20*%20std_psd_from_acov%0A%20%20%20%20hi_psd_from_acov%20%3D%20mean_psd_from_acov%20%2B%202%20*%20std_psd_from_acov%0A%20%20%20%20true_psd_acov_grid%20%3D%20theoretical_psd(freqs_acov%2C%20phi.value%2C%20sigma_eps.value)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20freqs_acov%2C%0A%20%20%20%20%20%20%20%20hi_psd_from_acov%2C%0A%20%20%20%20%20%20%20%20lo_psd_from_acov%2C%0A%20%20%20%20%20%20%20%20mean_psd_from_acov%2C%0A%20%20%20%20%20%20%20%20psd_from_unbiased_acov%2C%0A%20%20%20%20%20%20%20%20true_psd_acov_grid%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20freqs_acov%2C%0A%20%20%20%20hi_psd_from_acov%2C%0A%20%20%20%20lo_psd_from_acov%2C%0A%20%20%20%20mean_psd_from_acov%2C%0A%20%20%20%20num_paths%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20psd_from_unbiased_acov%2C%0A%20%20%20%20true_psd_acov_grid%2C%0A)%3A%0A%20%20%20%20fig3%2C%20ax_psd_acov%20%3D%20plt.subplots(figsize%3D(12%2C%205))%0A%0A%20%20%20%20ax_psd_acov.fill_between(%0A%20%20%20%20%20%20%20%20freqs_acov%2C%0A%20%20%20%20%20%20%20%20lo_psd_from_acov%2C%0A%20%20%20%20%20%20%20%20hi_psd_from_acov%2C%0A%20%20%20%20%20%20%20%20color%3D%22steelblue%22%2C%0A%20%20%20%20%20%20%20%20alpha%3D0.18%2C%0A%20%20%20%20%20%20%20%20label%3D%22Mean%20%C2%B1%202%CF%83%22%2C%0A%20%20%20%20)%0A%20%20%20%20ax_psd_acov.plot(freqs_acov%2C%20true_psd_acov_grid%2C%20color%3D%22red%22%2C%20linewidth%3D2.5%2C%20label%3D%22True%20PSD%22)%0A%20%20%20%20ax_psd_acov.plot(freqs_acov%2C%20mean_psd_from_acov%2C%20color%3D%22steelblue%22%2C%20linewidth%3D2.5%2C%20label%3D%22Mean%20estimate%22)%0A%20%20%20%20ax_psd_acov.plot(%0A%20%20%20%20%20%20%20%20freqs_acov%2C%0A%20%20%20%20%20%20%20%20psd_from_unbiased_acov%2C%0A%20%20%20%20%20%20%20%20color%3D%22black%22%2C%0A%20%20%20%20%20%20%20%20linewidth%3D1.1%2C%0A%20%20%20%20%20%20%20%20alpha%3D0.6%2C%0A%20%20%20%20%20%20%20%20label%3D%22One-path%20estimate%22%2C%0A%20%20%20%20)%0A%20%20%20%20ax_psd_acov.axhline(0%2C%20color%3D%22black%22%2C%20linewidth%3D1%2C%20alpha%3D0.7)%0A%20%20%20%20ax_psd_acov.set_title(%22PSD%20Estimate%20as%20Fourier%20Transform%20of%20Estimated%20Autocorrelation%22%2C%20fontsize%3D12%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20ax_psd_acov.set_xlabel(%22Frequency%20(cycles%2Fsample)%22%2C%20fontsize%3D11)%0A%20%20%20%20ax_psd_acov.set_ylabel(%22Power%20spectral%20density%22%2C%20fontsize%3D11)%0A%20%20%20%20ax_psd_acov.set_xlim(%5B-0.5%2C%200.5%5D)%0A%20%20%20%20ax_psd_acov.legend(fontsize%3D9)%0A%20%20%20%20ax_psd_acov.grid(True%2C%20alpha%3D0.3)%0A%20%20%20%20fig3.suptitle(f%22%7Bnum_paths.value%7D%20Independent%20AR(1)%20Paths%22%2C%20fontsize%3D12%2C%20fontweight%3D%22bold%22%2C%20y%3D1.02)%0A%20%20%20%20plt.tight_layout()%0A%20%20%20%20return%20(fig3%2C)%0A%0A%0A%40app.cell%0Adef%20_(fig3%2C%20max_lag%2C%20mo%2C%20n_obs%2C%20num_paths%2C%20seed)%3A%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.hstack(%5Bnum_paths%2C%20n_obs%2C%20max_lag%2C%20seed%5D)%2C%0A%20%20%20%20%20%20%20%20mo.mpl.interactive(fig3)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%204.%20Periodogram%20PSD%20Estimate%0A%0A%20%20%20%20The%20**periodogram**%20estimates%20the%20PSD%20directly%20from%20the%20data%3A%0A%0A%20%20%20%20%24%24%0A%20%20%20%20%5Cwidehat%7BS%7D_%7BXX%7D(e%5E%7Bj%5COmega%7D)%0A%20%20%20%20%3D%20%5Cfrac%7B1%7D%7BN%7D%5Cleft%7C%5Csum_%7Bk%3D0%7D%5E%7BN-1%7D%20x%5Bk%5D%5C%2C%20e%5E%7B-j%5COmega%20k%7D%5Cright%7C%5E2%0A%20%20%20%20%3D%20%5Cfrac%7B1%7D%7BN%7D%7CX_N(e%5E%7Bj%5COmega%7D)%7C%5E2.%0A%20%20%20%20%24%24%0A%0A%20%20%20%20It%20is%20always%20nonnegative%2C%20but%20it%20is%20**not%20consistent**%3A%20its%20variance%20does%20not%20decrease%20as%20%24N%20%5Cto%20%5Cinfty%24%20because%20each%20frequency%20bin%20has%20a%20%24%5Cchi%5E2_2%24%20distribution%20whose%20standard%20deviation%20equals%20its%20mean.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20ar1_sample%2C%0A%20%20%20%20n_obs%2C%0A%20%20%20%20np%2C%0A%20%20%20%20periodogram_estimate%2C%0A%20%20%20%20phi%2C%0A%20%20%20%20repeated_paths%2C%0A%20%20%20%20sigma_eps%2C%0A%20%20%20%20theoretical_psd%2C%0A)%3A%0A%20%20%20%20n_fft_periodogram%20%3D%20max(2048%2C%202%20**%20int(np.ceil(np.log2(4%20*%20n_obs.value))))%0A%20%20%20%20freqs_periodogram%2C%20periodogram_psd%20%3D%20periodogram_estimate(ar1_sample%2C%20n_fft_periodogram)%0A%20%20%20%20repeated_periodograms%20%3D%20np.empty((len(repeated_paths)%2C%20len(freqs_periodogram)))%0A%20%20%20%20for%20_path_idx%2C%20_path%20in%20enumerate(repeated_paths)%3A%0A%20%20%20%20%20%20%20%20_%2C%20repeated_periodograms%5B_path_idx%5D%20%3D%20periodogram_estimate(_path%2C%20n_fft_periodogram)%0A%0A%20%20%20%20mean_periodogram%20%3D%20np.mean(repeated_periodograms%2C%20axis%3D0)%0A%20%20%20%20std_periodogram%20%3D%20np.std(repeated_periodograms%2C%20axis%3D0)%0A%20%20%20%20lo_periodogram%20%3D%20mean_periodogram%20-%202%20*%20std_periodogram%0A%20%20%20%20hi_periodogram%20%3D%20mean_periodogram%20%2B%202%20*%20std_periodogram%0A%20%20%20%20true_psd_periodogram_grid%20%3D%20theoretical_psd(freqs_periodogram%2C%20phi.value%2C%20sigma_eps.value)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20freqs_periodogram%2C%0A%20%20%20%20%20%20%20%20mean_periodogram%2C%0A%20%20%20%20%20%20%20%20periodogram_psd%2C%0A%20%20%20%20%20%20%20%20true_psd_periodogram_grid%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20freqs_periodogram%2C%0A%20%20%20%20mean_periodogram%2C%0A%20%20%20%20num_paths%2C%0A%20%20%20%20periodogram_psd%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20true_psd_periodogram_grid%2C%0A)%3A%0A%20%20%20%20fig4%2C%20ax_linear%20%3D%20plt.subplots(figsize%3D(12%2C%205))%0A%0A%20%20%20%20%23%20ax_linear.fill_between(%0A%20%20%20%20%23%20%20%20%20%20freqs_periodogram%2C%0A%20%20%20%20%23%20%20%20%20%20lo_periodogram%2C%0A%20%20%20%20%23%20%20%20%20%20hi_periodogram%2C%0A%20%20%20%20%23%20%20%20%20%20color%3D%22purple%22%2C%0A%20%20%20%20%23%20%20%20%20%20alpha%3D0.14%2C%0A%20%20%20%20%23%20%20%20%20%20label%3D%22Mean%20%C2%B1%202%CF%83%22%2C%0A%20%20%20%20%23%20)%0A%20%20%20%20ax_linear.plot(freqs_periodogram%2C%20mean_periodogram%2C%20color%3D%22purple%22%2C%20linewidth%3D2.4%2C%20label%3D%22Mean%20periodogram%22)%0A%20%20%20%20ax_linear.plot(freqs_periodogram%2C%20periodogram_psd%2C%20color%3D%22black%22%2C%20linewidth%3D1%2C%20alpha%3D0.55%2C%20label%3D%22One-path%20periodogram%22)%0A%20%20%20%20ax_linear.plot(freqs_periodogram%2C%20true_psd_periodogram_grid%2C%20color%3D%22red%22%2C%20linewidth%3D2.5%2C%20label%3D%22True%20PSD%22)%0A%20%20%20%20ax_linear.set_title(%22Raw%20Periodogram%22%2C%20fontsize%3D12%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20ax_linear.set_xlabel(%22Frequency%20(cycles%2Fsample)%22%2C%20fontsize%3D11)%0A%20%20%20%20ax_linear.set_ylabel(%22Power%20spectral%20density%22%2C%20fontsize%3D11)%0A%20%20%20%20ax_linear.set_xlim(%5B-0.5%2C%200.5%5D)%0A%20%20%20%20ax_linear.legend(fontsize%3D9)%0A%20%20%20%20ax_linear.grid(True%2C%20alpha%3D0.3)%0A%0A%20%20%20%20fig4.suptitle(f%22%7Bnum_paths.value%7D%20Independent%20AR(1)%20Paths%22%2C%20fontsize%3D12%2C%20fontweight%3D%22bold%22%2C%20y%3D1.02)%0A%20%20%20%20plt.tight_layout()%0A%20%20%20%20return%20(fig4%2C)%0A%0A%0A%40app.cell%0Adef%20_(fig4%2C%20mo%2C%20n_obs%2C%20num_paths%2C%20seed)%3A%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.hstack(%5Bnum_paths%2C%20n_obs%2C%20seed%5D)%2C%0A%20%20%20%20%20%20%20%20mo.mpl.interactive(fig4)%2C%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20The%20periodogram%20is%20nonnegative%20by%20construction%20and%20uses%20the%20squared%20magnitude%20of%20the%20Fourier%20transform%20of%20the%20data.%0A%20%20%20%20%20%20%20%20%20%20%20%20Individual%20periodograms%20are%20very%20noisy%3B%20the%20band%20shows%20how%20much%20they%20vary%20across%20independent%20records.%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%205.%20Averaged%20Rectangular-window%20FFT%20PSD%20Estimate%0A%0A%20%20%20%20**Bartlett's%20method**%20splits%20the%20%24N%24-sample%20record%20into%20%24M%24%20non-overlapping%20segments%20of%20length%20%24L%20%3D%20N%2FM%24%20and%20averages%20their%20periodograms%3A%0A%0A%20%20%20%20%24%24%0A%20%20%20%20%5Cwidehat%7BS%7D_%7BXX%7D%5E%7B%5Ctext%7BB%7D%7D(e%5E%7Bj%5COmega%7D)%0A%20%20%20%20%3D%20%5Cfrac%7B1%7D%7BM%7D%5Csum_%7Bm%3D0%7D%5E%7BM-1%7D%0A%20%20%20%20%20%20%5Cfrac%7B1%7D%7BL%7D%5Cleft%7C%5Csum_%7Bk%3D0%7D%5E%7BL-1%7D%20x%5Bk%20%2B%20mL%5D%5C%2C%20e%5E%7B-j%5COmega%20k%7D%5Cright%7C%5E2.%0A%20%20%20%20%24%24%0A%0A%20%20%20%20Averaging%20reduces%20variance%20by%20a%20factor%20of%20%24M%24%2C%20but%20each%20segment%20is%20shorter%20so%20the%20frequency%20resolution%20degrades%3A%20the%20main%20lobe%20of%20the%20rectangular%20window%20has%20width%20%24%5Capprox%204%5Cpi%2FL%24.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20segment_length%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20value%3D128%2C%0A%20%20%20%20%20%20%20%20start%3D32%2C%0A%20%20%20%20%20%20%20%20stop%3D1024%2C%0A%20%20%20%20%20%20%20%20step%3D32%2C%0A%20%20%20%20%20%20%20%20label%3D%22Rectangular%20segment%20length%3A%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(segment_length%2C)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20ar1_sample%2C%0A%20%20%20%20averaged_rectangular_periodogram%2C%0A%20%20%20%20n_obs%2C%0A%20%20%20%20np%2C%0A%20%20%20%20phi%2C%0A%20%20%20%20repeated_paths%2C%0A%20%20%20%20segment_length%2C%0A%20%20%20%20sigma_eps%2C%0A%20%20%20%20theoretical_psd%2C%0A)%3A%0A%20%20%20%20effective_segment_length%20%3D%20min(segment_length.value%2C%20n_obs.value)%0A%20%20%20%20n_fft_average%20%3D%20max(2048%2C%202%20**%20int(np.ceil(np.log2(4%20*%20effective_segment_length))))%0A%20%20%20%20freqs_average%2C%20averaged_psd%2C%20num_averaged_segments%20%3D%20averaged_rectangular_periodogram(%0A%20%20%20%20%20%20%20%20ar1_sample%2C%0A%20%20%20%20%20%20%20%20effective_segment_length%2C%0A%20%20%20%20%20%20%20%20n_fft_average%2C%0A%20%20%20%20)%0A%20%20%20%20repeated_averaged_psds%20%3D%20np.empty((len(repeated_paths)%2C%20len(freqs_average)))%0A%20%20%20%20for%20_path_idx%2C%20_path%20in%20enumerate(repeated_paths)%3A%0A%20%20%20%20%20%20%20%20_%2C%20repeated_averaged_psds%5B_path_idx%5D%2C%20_%20%3D%20averaged_rectangular_periodogram(%0A%20%20%20%20%20%20%20%20%20%20%20%20_path%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20effective_segment_length%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20n_fft_average%2C%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20mean_averaged_psd%20%3D%20np.mean(repeated_averaged_psds%2C%20axis%3D0)%0A%20%20%20%20std_averaged_psd%20%3D%20np.std(repeated_averaged_psds%2C%20axis%3D0)%0A%20%20%20%20lo_averaged_psd%20%3D%20mean_averaged_psd%20-%202%20*%20std_averaged_psd%0A%20%20%20%20hi_averaged_psd%20%3D%20mean_averaged_psd%20%2B%202%20*%20std_averaged_psd%0A%20%20%20%20true_psd_average_grid%20%3D%20theoretical_psd(freqs_average%2C%20phi.value%2C%20sigma_eps.value)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20averaged_psd%2C%0A%20%20%20%20%20%20%20%20effective_segment_length%2C%0A%20%20%20%20%20%20%20%20freqs_average%2C%0A%20%20%20%20%20%20%20%20hi_averaged_psd%2C%0A%20%20%20%20%20%20%20%20lo_averaged_psd%2C%0A%20%20%20%20%20%20%20%20mean_averaged_psd%2C%0A%20%20%20%20%20%20%20%20num_averaged_segments%2C%0A%20%20%20%20%20%20%20%20true_psd_average_grid%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20averaged_psd%2C%0A%20%20%20%20effective_segment_length%2C%0A%20%20%20%20freqs_average%2C%0A%20%20%20%20hi_averaged_psd%2C%0A%20%20%20%20lo_averaged_psd%2C%0A%20%20%20%20mean_averaged_psd%2C%0A%20%20%20%20num_averaged_segments%2C%0A%20%20%20%20num_paths%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20true_psd_average_grid%2C%0A)%3A%0A%20%20%20%20fig5%2C%20ax_avg_linear%20%3D%20plt.subplots(figsize%3D(12%2C%205))%0A%0A%20%20%20%20ax_avg_linear.fill_between(%0A%20%20%20%20%20%20%20%20freqs_average%2C%0A%20%20%20%20%20%20%20%20lo_averaged_psd%2C%0A%20%20%20%20%20%20%20%20hi_averaged_psd%2C%0A%20%20%20%20%20%20%20%20color%3D%22seagreen%22%2C%0A%20%20%20%20%20%20%20%20alpha%3D0.16%2C%0A%20%20%20%20%20%20%20%20label%3D%22Mean%20%C2%B1%202%CF%83%22%2C%0A%20%20%20%20)%0A%20%20%20%20ax_avg_linear.plot(freqs_average%2C%20true_psd_average_grid%2C%20color%3D%22red%22%2C%20linewidth%3D2.5%2C%20label%3D%22True%20PSD%22)%0A%20%20%20%20ax_avg_linear.plot(freqs_average%2C%20mean_averaged_psd%2C%20color%3D%22seagreen%22%2C%20linewidth%3D2.5%2C%20label%3D%22Mean%20estimate%22)%0A%20%20%20%20ax_avg_linear.plot(%0A%20%20%20%20%20%20%20%20freqs_average%2C%0A%20%20%20%20%20%20%20%20averaged_psd%2C%0A%20%20%20%20%20%20%20%20color%3D%22black%22%2C%0A%20%20%20%20%20%20%20%20linewidth%3D1.1%2C%0A%20%20%20%20%20%20%20%20alpha%3D0.6%2C%0A%20%20%20%20%20%20%20%20label%3D%22One-path%20estimate%22%2C%0A%20%20%20%20)%0A%20%20%20%20ax_avg_linear.set_title(%22Averaged%20Rectangular%20Periodograms%22%2C%20fontsize%3D12%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20ax_avg_linear.set_xlabel(%22Frequency%20(cycles%2Fsample)%22%2C%20fontsize%3D11)%0A%20%20%20%20ax_avg_linear.set_ylabel(%22Power%20spectral%20density%22%2C%20fontsize%3D11)%0A%20%20%20%20ax_avg_linear.set_xlim(%5B-0.5%2C%200.5%5D)%0A%20%20%20%20ax_avg_linear.legend(fontsize%3D9)%0A%20%20%20%20ax_avg_linear.grid(True%2C%20alpha%3D0.3)%0A%0A%20%20%20%20fig5.suptitle(f%22%7Bnum_paths.value%7D%20Independent%20AR(1)%20Paths%22%2C%20fontsize%3D12%2C%20fontweight%3D%22bold%22%2C%20y%3D1.02)%0A%20%20%20%20plt.tight_layout()%0A%0A%20%20%20%20average_stats%20%3D%20f%22%22%22%0A%20%20%20%20**Rectangular-window%20FFT%20averaging%3A**%0A%20%20%20%20-%20Segment%20length%3A%20%7Beffective_segment_length%7D%0A%20%20%20%20-%20Number%20of%20non-overlapping%20segments%20averaged%3A%20%7Bnum_averaged_segments%7D%0A%20%20%20%20-%20Shorter%20segments%20reduce%20variance%20by%20averaging%20more%20FFTs%2C%20but%20reduce%20frequency%20resolution.%0A%20%20%20%20%22%22%22%0A%20%20%20%20return%20average_stats%2C%20fig5%0A%0A%0A%40app.cell%0Adef%20_(average_stats%2C%20fig5%2C%20mo%2C%20n_obs%2C%20num_paths%2C%20seed%2C%20segment_length)%3A%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.hstack(%5Bnum_paths%2C%20segment_length%2C%20n_obs%2C%20seed%5D)%2C%0A%20%20%20%20%20%20%20%20mo.mpl.interactive(fig5)%2C%0A%20%20%20%20%20%20%20%20mo.md(average_stats)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Key%20Takeaways%0A%0A%20%20%20%201.%20Finite%20records%20make%20high-lag%20autocorrelation%20estimates%20highly%20variable%20because%20fewer%20pairs%20of%20samples%20overlap.%0A%0A%20%20%20%202.%20The%20estimator%20divides%20by%20%24N-%5Ckappa%24%20at%20lag%20%24%5Ckappa%24.%20It%20corrects%20lag-wise%20bias%2C%20but%20the%20resulting%20finite%20autocorrelation%20sequence%20need%20not%20produce%20a%20nonnegative%20spectrum.%0A%0A%20%20%20%203.%20The%20PSD%20is%20the%20Fourier%20transform%20of%20the%20autocorrelation%20sequence.%20For%20an%20AR(1)%2C%20the%20true%20spectrum%20is%20large%20near%20zero%20frequency%20when%20%24a%20%3E%200%24%20and%20large%20near%20the%20Nyquist%20frequency%20when%20%24a%20%3C%200%24.%0A%0A%20%20%20%204.%20The%20periodogram%20estimates%20the%20PSD%20directly%20from%20%24%7C%5Cmathrm%7BFFT%7D(X)%7C%5E2%2FN%24.%20It%20is%20nonnegative%2C%20but%20very%20noisy%20for%20finite%20data.%0A%0A%20%20%20%205.%20Averaging%20rectangular-window%20FFT%20periodograms%20reduces%20variance%2C%20at%20the%20cost%20of%20lower%20frequency%20resolution%20when%20shorter%20segments%20are%20used.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A