guitar amp identification interactive

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.11%22%0A%23%20dependencies%20%3D%20%5B%22marimo%3E%3D0.23.9%22%2C%20%22matplotlib%3D%3D3.10.8%22%2C%20%22numpy%3D%3D2.4.3%22%2C%20%22scipy%3D%3D1.17.1%22%5D%0A%23%20%0A%23%20%5Btool.marimo.export%5D%0A%23%20lock_kind%20%3D%20%22resolved%22%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.25.1%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20io%0A%20%20%20%20import%20urllib.parse%0A%20%20%20%20import%20urllib.request%0A%20%20%20%20from%20pathlib%20import%20Path%0A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20from%20numpy.polynomial%20import%20chebyshev%2C%20legendre%0A%20%20%20%20from%20scipy.io%20import%20wavfile%0A%20%20%20%20from%20scipy.signal%20import%20firwin%2C%20lfilter%2C%20welch%0A%0A%20%20%20%20plt.style.use(%22default%22)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20Path%2C%0A%20%20%20%20%20%20%20%20chebyshev%2C%0A%20%20%20%20%20%20%20%20firwin%2C%0A%20%20%20%20%20%20%20%20io%2C%0A%20%20%20%20%20%20%20%20legendre%2C%0A%20%20%20%20%20%20%20%20lfilter%2C%0A%20%20%20%20%20%20%20%20mo%2C%0A%20%20%20%20%20%20%20%20np%2C%0A%20%20%20%20%20%20%20%20plt%2C%0A%20%20%20%20%20%20%20%20urllib%2C%0A%20%20%20%20%20%20%20%20wavfile%2C%0A%20%20%20%20%20%20%20%20welch%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(Path%2C%20urllib)%3A%0A%20%20%20%20def%20load_site_file(relative)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Bytes%20of%20a%20file%20in%20website%2F%2C%20from%20disk%20locally%20or%20same-origin%20in%20the%20browser.%22%22%22%0A%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20(Path(__file__).parent.parent%20%2F%20relative).read_bytes()%0A%20%20%20%20%20%20%20%20except%20NameError%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20WASM%3A%20__file__%20is%20undefined%3B%20Pyodide%20routes%20urllib%20through%20the%20browser's%20fetch.%0A%20%20%20%20%20%20%20%20%20%20%20%20import%20js%20%20%23%20ty%3A%20ignore%5Bunresolved-import%5D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20_src%20%3D%20urllib.parse.urljoin(str(js.window.location.href)%2C%20%22..%2F%22%20%2B%20relative)%0A%20%20%20%20%20%20%20%20%20%20%20%20with%20urllib.request.urlopen(_src)%20as%20_response%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20_response.read()%0A%0A%20%20%20%20return%20(load_site_file%2C)%0A%0A%0A%40app.cell%0Adef%20_(load_site_file%2C%20mo)%3A%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Identifying%20a%20guitar%20amp%0A%0A%20%20%20%20A%20clean%20guitar%20signal%20%24X%5Bk%5D%24%20goes%20into%20an%20amplifier%20and%20%24Y%5Bk%5D%24%20comes%20out.%20Both%20are%20recorded%3B%20the%20amp%0A%20%20%20%20between%20them%20is%20the%20unknown.%20A%20real%20amp%20is%20not%20linear%3A%20its%20preamp%20**saturates**%2C%20and%20the%20speaker%20cabinet%0A%20%20%20%20then%20**filters**%20the%20result.%20That%20is%20a%20Hammerstein%20system%2C%20a%20memoryless%20nonlinearity%20%24f%24%20followed%20by%20an%0A%20%20%20%20impulse%20response%20%24g%24%2C%0A%20%20%20%20%24%24%0A%20%20%20%20Y%5Bk%5D%20%3D%20%5Csum_%7B%5Cell%3D0%7D%5E%7BL-1%7D%20g%5B%5Cell%5D%5C%2C%20f%5Cbig(X%5Bk-%5Cell%5D%5Cbig)%20%2B%20N%5Bk%5D%20.%0A%20%20%20%20%24%24%0A%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.image(load_site_file(%22figures%2FFlow_AmpSystemID.png%22)%2C%20width%3D%2285%25%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20No%20linear%20filter%20can%20represent%20%24f%24.%20But%20expand%20it%20in%20**fixed%20basis%20functions**%2C%0A%20%20%20%20%24f(x)%20%3D%20%5Csum_%7Bp%3D1%7D%5E%7BP%7D%20%5Cphi_p%5C%2C%5Cpsi_p(x)%24%2C%20and%20the%20model%20becomes%0A%20%20%20%20%24%24%0A%20%20%20%20Y%5Bk%5D%20%3D%20%5Csum_%7Bp%3D1%7D%5E%7BP%7D%5Csum_%7B%5Cell%3D0%7D%5E%7BL-1%7D%20c_%7Bp%5Cell%7D%5C%3B%5Cpsi_p%5Cbig(X%5Bk-%5Cell%5D%5Cbig)%20%2B%20N%5Bk%5D%2C%0A%20%20%20%20%5Cqquad%20c_%7Bp%5Cell%7D%20%3D%20%5Cphi_p%5C%2C%20g%5B%5Cell%5D%20%2C%0A%20%20%20%20%24%24%0A%20%20%20%20which%20is%20**linear%20in%20the%20%24P%20L%24%20unknowns%20%24c_%7Bp%5Cell%7D%24**.%20The%20regressors%20are%20the%20delayed%20features%0A%20%20%20%20%24%5Cpsi_p(X%5Bk-%5Cell%5D)%24%2C%20and%20the%20fit%20is%20the%20normal%20equations%20%24%5Cmathbf%7BR_%7BXX%7D%7D%5Cmathbf%7Bc%7D%20%3D%20%5Cmathbf%7Br_%7BXY%7D%7D%24%20with%0A%20%20%20%20%24%5Cmathbf%7BR_%7BXX%7D%7D%24%20built%20from%20the%20auto-%20and%20cross-correlations%20of%20the%20feature%20signals%3A%20system%20identification%0A%20%20%20%20with%20%24P%24%20inputs%20instead%20of%20one.%20%22Linear%22%20is%20a%20statement%20about%20the%20parameters%2C%20not%20the%20data.%0A%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(io%2C%20load_site_file%2C%20np%2C%20wavfile)%3A%0A%20%20%20%20fs%2C%20_raw%20%3D%20wavfile.read(io.BytesIO(load_site_file(%22data%2Faudio%2Ffacebender-rndamp-input.wav%22)))%0A%20%20%20%20x_clean%20%3D%20_raw.astype(float)%0A%20%20%20%20x_clean%20%3D%20x_clean%20%2F%20np.max(np.abs(x_clean))%0A%20%20%20%20return%20fs%2C%20x_clean%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20amp_type%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%5B%22soft%20clip%20(tanh)%22%2C%20%22hard%20clip%22%2C%20%22asymmetric%20(tube)%22%5D%2C%0A%20%20%20%20%20%20%20%20value%3D%22soft%20clip%20(tanh)%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22amp%20nonlinearity%22%2C%0A%20%20%20%20)%0A%20%20%20%20drive%20%3D%20mo.ui.slider(1%2C%2030%2C%20value%3D4%2C%20step%3D1%2C%20label%3D%22drive%22)%0A%20%20%20%20cabinet%20%3D%20mo.ui.checkbox(value%3DTrue%2C%20label%3D%22speaker%20cabinet%20(memory)%22)%0A%20%20%20%20noise_db%20%3D%20mo.ui.slider(-60%2C%20-10%2C%20value%3D-40%2C%20step%3D5%2C%20label%3D%22noise%20level%20%5BdB%5D%22)%0A%0A%20%20%20%20basis%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%5B%22monomial%22%2C%20%22Legendre%22%2C%20%22Chebyshev%22%5D%2C%20value%3D%22Legendre%22%2C%20label%3D%22basis%22%0A%20%20%20%20)%0A%20%20%20%20degree%20%3D%20mo.ui.slider(1%2C%2015%2C%20value%3D9%2C%20step%3D1%2C%20label%3D%22degree%20P%22)%0A%20%20%20%20fir_len%20%3D%20mo.ui.slider(1%2C%2064%2C%20value%3D32%2C%20step%3D1%2C%20label%3D%22FIR%20length%20L%20(1%20%3D%20memoryless)%22)%0A%20%20%20%20ridge_exp%20%3D%20mo.ui.slider(-12%2C%200%2C%20value%3D-4%2C%20step%3D1%2C%20label%3D%22ridge%20log10(%CE%B4)%22)%0A%0A%20%20%20%20mo.hstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.vstack(%5Bmo.md(%22**The%20amp%20(truth)**%22)%2C%20amp_type%2C%20drive%2C%20cabinet%2C%20noise_db%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.vstack(%5Bmo.md(%22**The%20model**%22)%2C%20basis%2C%20degree%2C%20fir_len%2C%20ridge_exp%5D)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20justify%3D%22space-around%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20amp_type%2C%0A%20%20%20%20%20%20%20%20basis%2C%0A%20%20%20%20%20%20%20%20cabinet%2C%0A%20%20%20%20%20%20%20%20degree%2C%0A%20%20%20%20%20%20%20%20drive%2C%0A%20%20%20%20%20%20%20%20fir_len%2C%0A%20%20%20%20%20%20%20%20noise_db%2C%0A%20%20%20%20%20%20%20%20ridge_exp%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(amp_type%2C%20cabinet%2C%20drive%2C%20firwin%2C%20fs%2C%20lfilter%2C%20noise_db%2C%20np%2C%20x_clean)%3A%0A%20%20%20%20def%20amp_curve(x)%3A%0A%20%20%20%20%20%20%20%20%22%22%22The%20true%20memoryless%20nonlinearity%20f.%22%22%22%0A%20%20%20%20%20%20%20%20u%20%3D%20drive.value%20*%20x%0A%20%20%20%20%20%20%20%20if%20amp_type.value%20%3D%3D%20%22hard%20clip%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20np.clip(u%2C%20-1.0%2C%201.0)%0A%20%20%20%20%20%20%20%20if%20amp_type.value%20%3D%3D%20%22asymmetric%20(tube)%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20np.tanh(u%20%2B%200.3)%20-%20np.tanh(0.3)%0A%20%20%20%20%20%20%20%20return%20np.tanh(u)%0A%0A%20%20%20%20%23%20A%20cabinet%3A%20band-pass%2080%20Hz%20-%204.5%20kHz%2C%2032%20taps.%0A%20%20%20%20g_true%20%3D%20firwin(32%2C%20%5B80%2C%204500%5D%2C%20pass_zero%3DFalse%2C%20fs%3Dfs)%20if%20cabinet.value%20else%20np.array(%5B1.0%5D)%0A%20%20%20%20_y%20%3D%20lfilter(g_true%2C%20%5B1.0%5D%2C%20amp_curve(x_clean))%0A%20%20%20%20_rng%20%3D%20np.random.default_rng(1)%0A%20%20%20%20y_obs%20%3D%20_y%20%2B%2010%20**%20(noise_db.value%20%2F%2020)%20*%20np.std(_y)%20*%20_rng.standard_normal(_y.size)%0A%20%20%20%20return%20amp_curve%2C%20g_true%2C%20y_obs%0A%0A%0A%40app.cell%0Adef%20_(basis%2C%20chebyshev%2C%20degree%2C%20legendre%2C%20np)%3A%0A%20%20%20%20def%20features(x)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Columns%20psi_1(x)%2C%20...%2C%20psi_P(x).%20The%20constant%20psi_0%20is%20dropped%3A%20delayed%2C%20it%20would%20give%0A%20%20%20%20%20%20%20%20L%20identical%20columns%2C%20and%20the%20cabinet%20removes%20DC%20anyway.%22%22%22%0A%20%20%20%20%20%20%20%20vander%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22monomial%22%3A%20np.polynomial.polynomial.polyvander%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Legendre%22%3A%20legendre.legvander%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Chebyshev%22%3A%20chebyshev.chebvander%2C%0A%20%20%20%20%20%20%20%20%7D%5Bbasis.value%5D%0A%20%20%20%20%20%20%20%20return%20vander(x%2C%20degree.value)%5B%3A%2C%201%3A%5D%0A%0A%20%20%20%20return%20(features%2C)%0A%0A%0A%40app.cell%0Adef%20_(features%2C%20fir_len%2C%20lfilter%2C%20np%2C%20ridge_exp%2C%20x_clean%2C%20y_obs)%3A%0A%20%20%20%20%23%20Fit%20on%20the%20first%20half%2C%20test%20on%20the%20second.%0A%20%20%20%20_n%20%3D%20x_clean.size%20%2F%2F%202%0A%20%20%20%20Z%20%3D%20features(x_clean)%0A%20%20%20%20P%2C%20L%20%3D%20Z.shape%5B1%5D%2C%20fir_len.value%0A%20%20%20%20_nfft%20%3D%201%20%3C%3C%20int(np.ceil(np.log2(2%20*%20_n)))%0A%20%20%20%20_F%20%3D%20np.fft.rfft(Z%5B%3A_n%5D%2C%20_nfft%2C%20axis%3D0)%0A%20%20%20%20_Fy%20%3D%20np.fft.rfft(y_obs%5B%3A_n%5D%2C%20_nfft)%0A%0A%20%20%20%20def%20_xcorr(a%2C%20b)%3A%0A%20%20%20%20%20%20%20%20%22%22%22sum_k%20a%5Bk%5D%20b%5Bk%20-%20lag%5D%20for%20lag%20%3D%20-(L-1)%20..%20L-1.%22%22%22%0A%20%20%20%20%20%20%20%20r%20%3D%20np.fft.irfft(a%20*%20np.conj(b)%2C%20_nfft)%20%2F%20_n%0A%20%20%20%20%20%20%20%20return%20np.concatenate(%5Br%5B-(L%20-%201)%3A%5D%2C%20r%5B%3AL%5D%5D)%20if%20L%20%3E%201%20else%20r%5B%3A1%5D%0A%0A%20%20%20%20%23%20Block-Toeplitz%20Gram%20matrix%20of%20the%20delayed%20features%2C%20and%20their%20cross-correlation%20with%20Y.%0A%20%20%20%20R%20%3D%20np.zeros((P%20*%20L%2C%20P%20*%20L))%0A%20%20%20%20for%20_p%20in%20range(P)%3A%0A%20%20%20%20%20%20%20%20for%20_q%20in%20range(P)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_r%20%3D%20_xcorr(_F%5B%3A%2C%20_p%5D%2C%20_F%5B%3A%2C%20_q%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20_lags%20%3D%20np.arange(L)%0A%20%20%20%20%20%20%20%20%20%20%20%20R%5B_p%20*%20L%3A(_p%20%2B%201)%20*%20L%2C%20_q%20*%20L%3A(_q%20%2B%201)%20*%20L%5D%20%3D%20_r%5B(L%20-%201)%20%2B%20_lags%5BNone%2C%20%3A%5D%20-%20_lags%5B%3A%2C%20None%5D%5D%0A%20%20%20%20r_xy%20%3D%20np.concatenate(%5B_xcorr(_Fy%2C%20_F%5B%3A%2C%20_p%5D)%5BL%20-%201%3A%5D%20for%20_p%20in%20range(P)%5D)%0A%0A%20%20%20%20delta%20%3D%2010.0**ridge_exp.value%20*%20np.trace(R)%20%2F%20R.shape%5B0%5D%0A%20%20%20%20c%20%3D%20np.linalg.solve(R%20%2B%20delta%20*%20np.eye(P%20*%20L)%2C%20r_xy)%0A%20%20%20%20C%20%3D%20c.reshape(P%2C%20L)%0A%20%20%20%20cond_R%20%3D%20np.linalg.cond(R)%0A%0A%20%20%20%20y_hat%20%3D%20sum(lfilter(C%5B_p%5D%2C%20%5B1.0%5D%2C%20Z%5B%3A%2C%20_p%5D)%20for%20_p%20in%20range(P))%0A%20%20%20%20_e%20%3D%20y_obs%5B_n%3A%5D%20-%20y_hat%5B_n%3A%5D%0A%20%20%20%20test_err_db%20%3D%2010%20*%20np.log10(np.var(_e)%20%2F%20np.var(y_obs%5B_n%3A%5D))%0A%20%20%20%20return%20C%2C%20L%2C%20P%2C%20cond_R%2C%20test_err_db%2C%20y_hat%0A%0A%0A%40app.cell%0Adef%20_(C%2C%20amp_curve%2C%20features%2C%20np%2C%20x_clean)%3A%0A%20%20%20%20%23%20C%20%3D%20phi%20g%5ET%20is%20rank%20one%20for%20a%20Hammerstein%20amp%3A%20its%20leading%20singular%20pair%20splits%20it%20again.%0A%20%20%20%20%23%20Only%20the%20product%20is%20identifiable%20(a%20f%20and%20g%2Fa%20sound%20the%20same)%2C%20so%20fix%20the%20scale%20where%20f%20was%0A%20%20%20%20%23%20excited%3A%20over%20the%20range%20the%20input%20actually%20covers.%0A%20%20%20%20_U%2C%20_s%2C%20_Vt%20%3D%20np.linalg.svd(C%2C%20full_matrices%3DFalse)%0A%20%20%20%20phi_hat%2C%20g_hat%20%3D%20_U%5B%3A%2C%200%5D%20*%20_s%5B0%5D%2C%20_Vt%5B0%5D%0A%20%20%20%20rank_one_share%20%3D%20_s%5B0%5D%20**%202%20%2F%20np.sum(_s**2)%0A%0A%20%20%20%20x_grid%20%3D%20np.linspace(-1%2C%201%2C%20400)%0A%20%20%20%20f_true_grid%20%3D%20amp_curve(x_grid)%0A%20%20%20%20f_hat_grid%20%3D%20features(x_grid)%20%40%20phi_hat%0A%20%20%20%20_seen%20%3D%20np.abs(x_grid)%20%3C%3D%20np.quantile(np.abs(x_clean)%2C%200.99)%0A%20%20%20%20_a%20%3D%20(f_hat_grid%5B_seen%5D%20%40%20f_true_grid%5B_seen%5D)%20%2F%20(f_hat_grid%5B_seen%5D%20%40%20f_hat_grid%5B_seen%5D)%0A%20%20%20%20f_hat_grid%2C%20g_hat%20%3D%20f_hat_grid%20*%20_a%2C%20g_hat%20%2F%20_a%0A%20%20%20%20return%20f_hat_grid%2C%20f_true_grid%2C%20g_hat%2C%20rank_one_share%2C%20x_grid%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20L%2C%0A%20%20%20%20P%2C%0A%20%20%20%20basis%2C%0A%20%20%20%20cond_R%2C%0A%20%20%20%20f_hat_grid%2C%0A%20%20%20%20f_true_grid%2C%0A%20%20%20%20fs%2C%0A%20%20%20%20g_hat%2C%0A%20%20%20%20g_true%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20np%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20rank_one_share%2C%0A%20%20%20%20test_err_db%2C%0A%20%20%20%20welch%2C%0A%20%20%20%20x_clean%2C%0A%20%20%20%20x_grid%2C%0A%20%20%20%20y_obs%2C%0A)%3A%0A%20%20%20%20_fig%2C%20(_a1%2C%20_a2)%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(12%2C%203.8))%0A%20%20%20%20_q99%20%3D%20np.quantile(np.abs(x_clean)%2C%200.99)%0A%20%20%20%20_sub%20%3D%20np.random.default_rng(0).choice(x_clean.size%2C%204000%2C%20replace%3DFalse)%0A%20%20%20%20_a1.axvspan(-_q99%2C%20_q99%2C%20color%3D%220.5%22%2C%20alpha%3D0.12%2C%20lw%3D0%2C%20label%3D%2299%25%20of%20the%20input%22)%0A%20%20%20%20_a1.plot(x_clean%5B_sub%5D%2C%20y_obs%5B_sub%5D%2C%20%22.%22%2C%20color%3D%220.6%22%2C%20ms%3D2%2C%20alpha%3D0.35%2C%20label%3D%22data%20%24(x%2C%20y)%24%22)%0A%20%20%20%20_a1.plot(x_grid%2C%20f_true_grid%2C%20color%3D%22%23C0392B%22%2C%20lw%3D2.6%2C%20label%3D%22true%20%24f%24%22)%0A%20%20%20%20_a1.plot(x_grid%2C%20f_hat_grid%2C%20%22--%22%2C%20color%3D%22%231f5fa8%22%2C%20lw%3D2.0%2C%20label%3Dr%22fitted%20%24%5Chat%20f%24%22)%0A%20%20%20%20_a1.set_ylim(-1.6%2C%201.6)%0A%20%20%20%20_a1.set_xlabel(%22%24x%24%22)%0A%20%20%20%20_a1.set_title(f%22nonlinearity%20(%7Bbasis.value%7D%2C%20P%20%3D%20%7BP%7D)%22%2C%20fontsize%3D12)%0A%20%20%20%20_a1.legend(fontsize%3D9%2C%20frameon%3DFalse%2C%20loc%3D%22upper%20left%22)%0A%0A%20%20%20%20%23%20In%20frequency%3A%20the%20fit%20can%20only%20be%20right%20where%20the%20guitar%20has%20energy%20to%20excite%20it.%0A%20%20%20%20_nf%20%3D%202048%0A%20%20%20%20_freq%20%3D%20np.fft.rfftfreq(_nf%2C%201%20%2F%20fs)%0A%20%20%20%20_db%20%3D%20lambda%20h%3A%2020%20*%20np.log10(np.abs(np.fft.rfft(h%2C%20_nf))%20%2B%201e-9)%0A%20%20%20%20_fw%2C%20_pxx%20%3D%20welch(x_clean%2C%20fs%2C%20nperseg%3D_nf)%0A%20%20%20%20_a2.fill_between(_fw%2C%2010%20*%20np.log10(_pxx%20%2F%20_pxx.max())%2C%20-80%2C%20color%3D%220.5%22%2C%20alpha%3D0.18%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20lw%3D0%2C%20label%3D%22input%20spectrum%22)%0A%20%20%20%20_a2.plot(_freq%2C%20_db(g_true)%2C%20color%3D%22%23C0392B%22%2C%20lw%3D2.6%2C%20label%3D%22true%20%24%7CG%7C%24%22)%0A%20%20%20%20_a2.plot(_freq%2C%20_db(g_hat)%2C%20%22--%22%2C%20color%3D%22%231f5fa8%22%2C%20lw%3D2.0%2C%20label%3Dr%22fitted%20%24%7C%5Chat%20G%7C%24%22)%0A%20%20%20%20_a2.set_xscale(%22log%22)%0A%20%20%20%20_a2.set_xlim(20%2C%20fs%20%2F%202)%0A%20%20%20%20_a2.set_ylim(-80%2C%2010)%0A%20%20%20%20_a2.set_xlabel(%22frequency%20%5BHz%5D%22)%0A%20%20%20%20_a2.set_ylabel(%22dB%22)%0A%20%20%20%20_a2.set_title(f%22cabinet%20response%20(L%20%3D%20%7BL%7D)%22%2C%20fontsize%3D12)%0A%20%20%20%20_a2.legend(fontsize%3D9%2C%20frameon%3DFalse%2C%20loc%3D%22lower%20left%22)%0A%20%20%20%20_fig.tight_layout()%0A%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22test%20error%20**%7Btest_err_db%3A.1f%7D%20dB**%20below%20the%20output%20%C2%B7%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22cond(%24%5C%5Cmathbf%7B%7BR_%7B%7BXX%7D%7D%7D%7D%24)%20%3D%20%7Bcond_R%3A.1e%7D%20%C2%B7%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22rank-one%20share%20of%20%24%5C%5Cmathbf%7B%7BC%7D%7D%24%20%3D%20%7B100%20*%20rank_one_share%3A.1f%7D%25%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_fig%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(fs%2C%20mo%2C%20x_clean%2C%20y_hat%2C%20y_obs)%3A%0A%20%20%20%20mo.hstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.vstack(%5Bmo.md(%22**Input%20%24X%24**%20(clean%20guitar)%22)%2C%20mo.audio(x_clean%2C%20rate%3Dfs)%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.vstack(%5Bmo.md(%22**Amp%20output%20%24Y%24**%22)%2C%20mo.audio(y_obs%2C%20rate%3Dfs)%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.vstack(%5Bmo.md(r%22**Model%20%24%5Cwidehat%7BY%7D%24**%22)%2C%20mo.audio(y_hat%2C%20rate%3Dfs)%5D)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20justify%3D%22space-around%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20**Things%20to%20try**%0A%0A%20%20%20%20-%20**Monomial%20vs%20Legendre**%20at%20degree%2012.%20Same%20model%20space%2C%20same%20fit%20in%20exact%20arithmetic%2C%20but%0A%20%20%20%20%20%20watch%20the%20condition%20number%3A%20%24x%5E2%2C%20x%5E4%2C%20x%5E6%24%20are%20nearly%20the%20same%20shape%20on%20%24%5B-1%2C1%5D%24%2C%20so%20their%20columns%0A%20%20%20%20%20%20nearly%20coincide.%20Now%20drop%20the%20ridge%20to%20%2410%5E%7B-12%7D%24.%0A%20%20%20%20-%20Even%20Legendre%20is%20only%20orthogonal%20for%20*uniform*%20input.%20Guitar%20audio%20sits%20mostly%20near%20zero%2C%20so%20the%0A%20%20%20%20%20%20Gramian%20is%20still%20ill-conditioned%20and%20the%20ridge%20is%20doing%20real%20work%3A%20the%20small-eigenvalue%20problem%2C%20and%20the%0A%20%20%20%20%20%20same%20fix%2C%20as%20in%20any%20inverse%20problem.%0A%20%20%20%20-%20**FIR%20length%201**%20with%20the%20cabinet%20on%3A%20the%20memoryless%20model%20cannot%20explain%20the%20filtering%20and%20the%20scatter%0A%20%20%20%20%20%20plot%20is%20smeared.%20Turn%20the%20cabinet%20off%20and%20the%20scatter%20collapses%20onto%20%24f%24.%0A%20%20%20%20-%20**Hard%20clip**%20at%20high%20drive%3A%20a%20polynomial%20cannot%20be%20flat%2C%20so%20it%20ripples%20in%20the%20saturated%20region.%20Outside%0A%20%20%20%20%20%20the%20shaded%20band%20it%20has%20seen%20no%20data%2C%20and%20it%20does%20not%20saturate%20at%20all.%20Fitting%20only%20works%20over%20the%20range%0A%20%20%20%20%20%20of%20inputs%20it%20was%20given.%0A%20%20%20%20-%20The%20**rank-one%20share**%20measures%20how%20well%20%24%5Cmathbf%7BC%7D%24%20factors%20as%20%24%5Cboldsymbol%5Cphi%5C%2C%5Cmathbf%7Bg%7D%5Ctran%24.%20The%0A%20%20%20%20%20%20model%20never%20enforced%20that%20structure%3B%20the%20data%20did.%20Only%20the%20product%20%24c_%7Bp%5Cell%7D%3D%5Cphi_p%20g%5B%5Cell%5D%24%20is%0A%20%20%20%20%20%20identifiable%3A%20%24af%24%20and%20%24g%2Fa%24%20sound%20the%20same.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A