iris mmse regression interactive

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.11%22%0A%23%20dependencies%20%3D%20%5B%22marimo%3E%3D0.23.9%22%2C%20%22matplotlib%3D%3D3.10.8%22%2C%20%22numpy%3D%3D2.4.3%22%2C%20%22scipy%3D%3D1.17.1%22%5D%0A%23%20%0A%23%20%5Btool.marimo.export%5D%0A%23%20lock_kind%20%3D%20%22resolved%22%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.23.13%22%0Aapp%20%3D%20marimo.App()%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20io%0A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20from%20matplotlib.lines%20import%20Line2D%0A%20%20%20%20from%20scipy.stats%20import%20gaussian_kde%0A%0A%20%20%20%20plt.style.use(%22default%22)%0A%0A%20%20%20%20C_DENSITY%20%3D%20%22%232563eb%22%0A%20%20%20%20C_MMSE%20%3D%20%22%23111827%22%0A%20%20%20%20C_MEAN%20%3D%20%22%2316a34a%22%0A%20%20%20%20C_PLAIN%20%3D%20%22%23dc2626%22%0A%20%20%20%20C_RIDGE%20%3D%20%22%237c3aed%22%0A%20%20%20%20C_OBS%20%3D%20%22%23f59e0b%22%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20C_MEAN%2C%0A%20%20%20%20%20%20%20%20C_MMSE%2C%0A%20%20%20%20%20%20%20%20C_OBS%2C%0A%20%20%20%20%20%20%20%20C_PLAIN%2C%0A%20%20%20%20%20%20%20%20C_RIDGE%2C%0A%20%20%20%20%20%20%20%20Line2D%2C%0A%20%20%20%20%20%20%20%20gaussian_kde%2C%0A%20%20%20%20%20%20%20%20io%2C%0A%20%20%20%20%20%20%20%20mo%2C%0A%20%20%20%20%20%20%20%20np%2C%0A%20%20%20%20%20%20%20%20plt%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(io%2C%20np)%3A%0A%20%20%20%20IRIS_CSV%20%3D%20%22%22%22sepal_length%2Csepal_width%2Cpetal_length%2Cpetal_width%2Cspecies%0A%20%20%20%205.1%2C3.5%2C1.4%2C0.2%2Csetosa%0A%20%20%20%204.9%2C3.0%2C1.4%2C0.2%2Csetosa%0A%20%20%20%204.7%2C3.2%2C1.3%2C0.2%2Csetosa%0A%20%20%20%204.6%2C3.1%2C1.5%2C0.2%2Csetosa%0A%20%20%20%205.0%2C3.6%2C1.4%2C0.2%2Csetosa%0A%20%20%20%205.4%2C3.9%2C1.7%2C0.4%2Csetosa%0A%20%20%20%204.6%2C3.4%2C1.4%2C0.3%2Csetosa%0A%20%20%20%205.0%2C3.4%2C1.5%2C0.2%2Csetosa%0A%20%20%20%204.4%2C2.9%2C1.4%2C0.2%2Csetosa%0A%20%20%20%204.9%2C3.1%2C1.5%2C0.1%2Csetosa%0A%20%20%20%205.4%2C3.7%2C1.5%2C0.2%2Csetosa%0A%20%20%20%204.8%2C3.4%2C1.6%2C0.2%2Csetosa%0A%20%20%20%204.8%2C3.0%2C1.4%2C0.1%2Csetosa%0A%20%20%20%204.3%2C3.0%2C1.1%2C0.1%2Csetosa%0A%20%20%20%205.8%2C4.0%2C1.2%2C0.2%2Csetosa%0A%20%20%20%205.7%2C4.4%2C1.5%2C0.4%2Csetosa%0A%20%20%20%205.4%2C3.9%2C1.3%2C0.4%2Csetosa%0A%20%20%20%205.1%2C3.5%2C1.4%2C0.3%2Csetosa%0A%20%20%20%205.7%2C3.8%2C1.7%2C0.3%2Csetosa%0A%20%20%20%205.1%2C3.8%2C1.5%2C0.3%2Csetosa%0A%20%20%20%205.4%2C3.4%2C1.7%2C0.2%2Csetosa%0A%20%20%20%205.1%2C3.7%2C1.5%2C0.4%2Csetosa%0A%20%20%20%204.6%2C3.6%2C1.0%2C0.2%2Csetosa%0A%20%20%20%205.1%2C3.3%2C1.7%2C0.5%2Csetosa%0A%20%20%20%204.8%2C3.4%2C1.9%2C0.2%2Csetosa%0A%20%20%20%205.0%2C3.0%2C1.6%2C0.2%2Csetosa%0A%20%20%20%205.0%2C3.4%2C1.6%2C0.4%2Csetosa%0A%20%20%20%205.2%2C3.5%2C1.5%2C0.2%2Csetosa%0A%20%20%20%205.2%2C3.4%2C1.4%2C0.2%2Csetosa%0A%20%20%20%204.7%2C3.2%2C1.6%2C0.2%2Csetosa%0A%20%20%20%204.8%2C3.1%2C1.6%2C0.2%2Csetosa%0A%20%20%20%205.4%2C3.4%2C1.5%2C0.4%2Csetosa%0A%20%20%20%205.2%2C4.1%2C1.5%2C0.1%2Csetosa%0A%20%20%20%205.5%2C4.2%2C1.4%2C0.2%2Csetosa%0A%20%20%20%204.9%2C3.1%2C1.5%2C0.2%2Csetosa%0A%20%20%20%205.0%2C3.2%2C1.2%2C0.2%2Csetosa%0A%20%20%20%205.5%2C3.5%2C1.3%2C0.2%2Csetosa%0A%20%20%20%204.9%2C3.6%2C1.4%2C0.1%2Csetosa%0A%20%20%20%204.4%2C3.0%2C1.3%2C0.2%2Csetosa%0A%20%20%20%205.1%2C3.4%2C1.5%2C0.2%2Csetosa%0A%20%20%20%205.0%2C3.5%2C1.3%2C0.3%2Csetosa%0A%20%20%20%204.5%2C2.3%2C1.3%2C0.3%2Csetosa%0A%20%20%20%204.4%2C3.2%2C1.3%2C0.2%2Csetosa%0A%20%20%20%205.0%2C3.5%2C1.6%2C0.6%2Csetosa%0A%20%20%20%205.1%2C3.8%2C1.9%2C0.4%2Csetosa%0A%20%20%20%204.8%2C3.0%2C1.4%2C0.3%2Csetosa%0A%20%20%20%205.1%2C3.8%2C1.6%2C0.2%2Csetosa%0A%20%20%20%204.6%2C3.2%2C1.4%2C0.2%2Csetosa%0A%20%20%20%205.3%2C3.7%2C1.5%2C0.2%2Csetosa%0A%20%20%20%205.0%2C3.3%2C1.4%2C0.2%2Csetosa%0A%20%20%20%207.0%2C3.2%2C4.7%2C1.4%2Cversicolor%0A%20%20%20%206.4%2C3.2%2C4.5%2C1.5%2Cversicolor%0A%20%20%20%206.9%2C3.1%2C4.9%2C1.5%2Cversicolor%0A%20%20%20%205.5%2C2.3%2C4.0%2C1.3%2Cversicolor%0A%20%20%20%206.5%2C2.8%2C4.6%2C1.5%2Cversicolor%0A%20%20%20%205.7%2C2.8%2C4.5%2C1.3%2Cversicolor%0A%20%20%20%206.3%2C3.3%2C4.7%2C1.6%2Cversicolor%0A%20%20%20%204.9%2C2.4%2C3.3%2C1.0%2Cversicolor%0A%20%20%20%206.6%2C2.9%2C4.6%2C1.3%2Cversicolor%0A%20%20%20%205.2%2C2.7%2C3.9%2C1.4%2Cversicolor%0A%20%20%20%205.0%2C2.0%2C3.5%2C1.0%2Cversicolor%0A%20%20%20%205.9%2C3.0%2C4.2%2C1.5%2Cversicolor%0A%20%20%20%206.0%2C2.2%2C4.0%2C1.0%2Cversicolor%0A%20%20%20%206.1%2C2.9%2C4.7%2C1.4%2Cversicolor%0A%20%20%20%205.6%2C2.9%2C3.6%2C1.3%2Cversicolor%0A%20%20%20%206.7%2C3.1%2C4.4%2C1.4%2Cversicolor%0A%20%20%20%205.6%2C3.0%2C4.5%2C1.5%2Cversicolor%0A%20%20%20%205.8%2C2.7%2C4.1%2C1.0%2Cversicolor%0A%20%20%20%206.2%2C2.2%2C4.5%2C1.5%2Cversicolor%0A%20%20%20%205.6%2C2.5%2C3.9%2C1.1%2Cversicolor%0A%20%20%20%205.9%2C3.2%2C4.8%2C1.8%2Cversicolor%0A%20%20%20%206.1%2C2.8%2C4.0%2C1.3%2Cversicolor%0A%20%20%20%206.3%2C2.5%2C4.9%2C1.5%2Cversicolor%0A%20%20%20%206.1%2C2.8%2C4.7%2C1.2%2Cversicolor%0A%20%20%20%206.4%2C2.9%2C4.3%2C1.3%2Cversicolor%0A%20%20%20%206.6%2C3.0%2C4.4%2C1.4%2Cversicolor%0A%20%20%20%206.8%2C2.8%2C4.8%2C1.4%2Cversicolor%0A%20%20%20%206.7%2C3.0%2C5.0%2C1.7%2Cversicolor%0A%20%20%20%206.0%2C2.9%2C4.5%2C1.5%2Cversicolor%0A%20%20%20%205.7%2C2.6%2C3.5%2C1.0%2Cversicolor%0A%20%20%20%205.5%2C2.4%2C3.8%2C1.1%2Cversicolor%0A%20%20%20%205.5%2C2.4%2C3.7%2C1.0%2Cversicolor%0A%20%20%20%205.8%2C2.7%2C3.9%2C1.2%2Cversicolor%0A%20%20%20%206.0%2C2.7%2C5.1%2C1.6%2Cversicolor%0A%20%20%20%205.4%2C3.0%2C4.5%2C1.5%2Cversicolor%0A%20%20%20%206.0%2C3.4%2C4.5%2C1.6%2Cversicolor%0A%20%20%20%206.7%2C3.1%2C4.7%2C1.5%2Cversicolor%0A%20%20%20%206.3%2C2.3%2C4.4%2C1.3%2Cversicolor%0A%20%20%20%205.6%2C3.0%2C4.1%2C1.3%2Cversicolor%0A%20%20%20%205.5%2C2.5%2C4.0%2C1.3%2Cversicolor%0A%20%20%20%205.5%2C2.6%2C4.4%2C1.2%2Cversicolor%0A%20%20%20%206.1%2C3.0%2C4.6%2C1.4%2Cversicolor%0A%20%20%20%205.8%2C2.6%2C4.0%2C1.2%2Cversicolor%0A%20%20%20%205.0%2C2.3%2C3.3%2C1.0%2Cversicolor%0A%20%20%20%205.6%2C2.7%2C4.2%2C1.3%2Cversicolor%0A%20%20%20%205.7%2C3.0%2C4.2%2C1.2%2Cversicolor%0A%20%20%20%205.7%2C2.9%2C4.2%2C1.3%2Cversicolor%0A%20%20%20%206.2%2C2.9%2C4.3%2C1.3%2Cversicolor%0A%20%20%20%205.1%2C2.5%2C3.0%2C1.1%2Cversicolor%0A%20%20%20%205.7%2C2.8%2C4.1%2C1.3%2Cversicolor%0A%20%20%20%206.3%2C3.3%2C6.0%2C2.5%2Cvirginica%0A%20%20%20%205.8%2C2.7%2C5.1%2C1.9%2Cvirginica%0A%20%20%20%207.1%2C3.0%2C5.9%2C2.1%2Cvirginica%0A%20%20%20%206.3%2C2.9%2C5.6%2C1.8%2Cvirginica%0A%20%20%20%206.5%2C3.0%2C5.8%2C2.2%2Cvirginica%0A%20%20%20%207.6%2C3.0%2C6.6%2C2.1%2Cvirginica%0A%20%20%20%204.9%2C2.5%2C4.5%2C1.7%2Cvirginica%0A%20%20%20%207.3%2C2.9%2C6.3%2C1.8%2Cvirginica%0A%20%20%20%206.7%2C2.5%2C5.8%2C1.8%2Cvirginica%0A%20%20%20%207.2%2C3.6%2C6.1%2C2.5%2Cvirginica%0A%20%20%20%206.5%2C3.2%2C5.1%2C2.0%2Cvirginica%0A%20%20%20%206.4%2C2.7%2C5.3%2C1.9%2Cvirginica%0A%20%20%20%206.8%2C3.0%2C5.5%2C2.1%2Cvirginica%0A%20%20%20%205.7%2C2.5%2C5.0%2C2.0%2Cvirginica%0A%20%20%20%205.8%2C2.8%2C5.1%2C2.4%2Cvirginica%0A%20%20%20%206.4%2C3.2%2C5.3%2C2.3%2Cvirginica%0A%20%20%20%206.5%2C3.0%2C5.5%2C1.8%2Cvirginica%0A%20%20%20%207.7%2C3.8%2C6.7%2C2.2%2Cvirginica%0A%20%20%20%207.7%2C2.6%2C6.9%2C2.3%2Cvirginica%0A%20%20%20%206.0%2C2.2%2C5.0%2C1.5%2Cvirginica%0A%20%20%20%206.9%2C3.2%2C5.7%2C2.3%2Cvirginica%0A%20%20%20%205.6%2C2.8%2C4.9%2C2.0%2Cvirginica%0A%20%20%20%207.7%2C2.8%2C6.7%2C2.0%2Cvirginica%0A%20%20%20%206.3%2C2.7%2C4.9%2C1.8%2Cvirginica%0A%20%20%20%206.7%2C3.3%2C5.7%2C2.1%2Cvirginica%0A%20%20%20%207.2%2C3.2%2C6.0%2C1.8%2Cvirginica%0A%20%20%20%206.2%2C2.8%2C4.8%2C1.8%2Cvirginica%0A%20%20%20%206.1%2C3.0%2C4.9%2C1.8%2Cvirginica%0A%20%20%20%206.4%2C2.8%2C5.6%2C2.1%2Cvirginica%0A%20%20%20%207.2%2C3.0%2C5.8%2C1.6%2Cvirginica%0A%20%20%20%207.4%2C2.8%2C6.1%2C1.9%2Cvirginica%0A%20%20%20%207.9%2C3.8%2C6.4%2C2.0%2Cvirginica%0A%20%20%20%206.4%2C2.8%2C5.6%2C2.2%2Cvirginica%0A%20%20%20%206.3%2C2.8%2C5.1%2C1.5%2Cvirginica%0A%20%20%20%206.1%2C2.6%2C5.6%2C1.4%2Cvirginica%0A%20%20%20%207.7%2C3.0%2C6.1%2C2.3%2Cvirginica%0A%20%20%20%206.3%2C3.4%2C5.6%2C2.4%2Cvirginica%0A%20%20%20%206.4%2C3.1%2C5.5%2C1.8%2Cvirginica%0A%20%20%20%206.0%2C3.0%2C4.8%2C1.8%2Cvirginica%0A%20%20%20%206.9%2C3.1%2C5.4%2C2.1%2Cvirginica%0A%20%20%20%206.7%2C3.1%2C5.6%2C2.4%2Cvirginica%0A%20%20%20%206.9%2C3.1%2C5.1%2C2.3%2Cvirginica%0A%20%20%20%205.8%2C2.7%2C5.1%2C1.9%2Cvirginica%0A%20%20%20%206.8%2C3.2%2C5.9%2C2.3%2Cvirginica%0A%20%20%20%206.7%2C3.3%2C5.7%2C2.5%2Cvirginica%0A%20%20%20%206.7%2C3.0%2C5.2%2C2.3%2Cvirginica%0A%20%20%20%206.3%2C2.5%2C5.0%2C1.9%2Cvirginica%0A%20%20%20%206.5%2C3.0%2C5.2%2C2.0%2Cvirginica%0A%20%20%20%206.2%2C3.4%2C5.4%2C2.3%2Cvirginica%0A%20%20%20%205.9%2C3.0%2C5.1%2C1.8%2Cvirginica%22%22%22%0A%0A%20%20%20%20FEATURES%20%3D%20%5B%22sepal_length%22%2C%20%22sepal_width%22%2C%20%22petal_length%22%2C%20%22petal_width%22%5D%0A%20%20%20%20FEATURE_LABELS%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22sepal_length%22%3A%20%22sepal%20length%20(cm)%22%2C%0A%20%20%20%20%20%20%20%20%22sepal_width%22%3A%20%22sepal%20width%20(cm)%22%2C%0A%20%20%20%20%20%20%20%20%22petal_length%22%3A%20%22petal%20length%20(cm)%22%2C%0A%20%20%20%20%20%20%20%20%22petal_width%22%3A%20%22petal%20width%20(cm)%22%2C%0A%20%20%20%20%7D%0A%20%20%20%20FEATURE_SHORT%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22sepal_length%22%3A%20%22sepal%20L%22%2C%0A%20%20%20%20%20%20%20%20%22sepal_width%22%3A%20%22sepal%20W%22%2C%0A%20%20%20%20%20%20%20%20%22petal_length%22%3A%20%22petal%20L%22%2C%0A%20%20%20%20%20%20%20%20%22petal_width%22%3A%20%22petal%20W%22%2C%0A%20%20%20%20%7D%0A%20%20%20%20CLASSES%20%3D%20%5B%22setosa%22%2C%20%22versicolor%22%2C%20%22virginica%22%5D%0A%20%20%20%20CLASS_COLORS%20%3D%20%7B%22setosa%22%3A%20%22%231f77b4%22%2C%20%22versicolor%22%3A%20%22%23ff7f0e%22%2C%20%22virginica%22%3A%20%22%232ca02c%22%7D%0A%0A%20%20%20%20_raw%20%3D%20np.genfromtxt(%0A%20%20%20%20%20%20%20%20io.StringIO(IRIS_CSV.strip())%2C%0A%20%20%20%20%20%20%20%20delimiter%3D%22%2C%22%2C%0A%20%20%20%20%20%20%20%20names%3DTrue%2C%0A%20%20%20%20%20%20%20%20dtype%3DNone%2C%0A%20%20%20%20%20%20%20%20encoding%3D%22utf-8%22%2C%0A%20%20%20%20)%0A%20%20%20%20X%20%3D%20np.column_stack(%5B_raw%5B_f%5D%20for%20_f%20in%20FEATURES%5D).astype(float)%0A%20%20%20%20SPECIES%20%3D%20np.array(%5Bstr(_s)%20for%20_s%20in%20_raw%5B%22species%22%5D%5D)%0A%0A%20%20%20%20MU%20%3D%20X.mean(axis%3D0)%0A%20%20%20%20SD%20%3D%20X.std(axis%3D0)%0A%20%20%20%20Z%20%3D%20(X%20-%20MU)%20%2F%20SD%0A%20%20%20%20CORR%20%3D%20np.corrcoef(X%2C%20rowvar%3DFalse)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20CLASSES%2C%0A%20%20%20%20%20%20%20%20CLASS_COLORS%2C%0A%20%20%20%20%20%20%20%20CORR%2C%0A%20%20%20%20%20%20%20%20FEATURES%2C%0A%20%20%20%20%20%20%20%20FEATURE_LABELS%2C%0A%20%20%20%20%20%20%20%20FEATURE_SHORT%2C%0A%20%20%20%20%20%20%20%20SPECIES%2C%0A%20%20%20%20%20%20%20%20X%2C%0A%20%20%20%20%20%20%20%20Z%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Linear%20MMSE%20Regression%20%E2%80%94%20Predicting%20One%20Iris%20Feature%20from%20Others%0A%0A%20%20%20%20Ronald%20Fisher's%201936%20*Iris*%20data%20set%20records%20four%20measurements%20%E2%80%94%20sepal%20length%2C%0A%20%20%20%20sepal%20width%2C%20petal%20length%20and%20petal%20width%20(in%20cm)%20%E2%80%94%20for%20150%20flowers.%20Earlier%20we%0A%20%20%20%20used%20it%20for%20**classification**.%20Here%20the%20task%20is%20**regression**%3A%20predict%20one%0A%20%20%20%20continuous%20feature%20%24Y%24%20from%20one%20or%20more%20of%20the%20others%20%24%5Cmathbf%7BX%7D%24.%0A%0A%20%20%20%20We%20keep%20the%20same%20idea%20of%20a%20**continuous%20density**%20estimated%20from%20the%20data%20(now%20the%0A%20%20%20%20*joint*%20density%20of%20two%20features)%2C%20and%20ask%20for%20the%20best%20estimator%20of%20the%20form%0A%20%20%20%20%24%24%0A%20%20%20%20%5Cwidehat%7BY%7D%20%3D%20g(%5Cmathbf%7BX%7D%2C%5Cboldsymbol%7B%5Cphi%7D)%2C%0A%20%20%20%20%24%24%0A%20%20%20%20in%20the%20sense%20of%20the%20**mean-squared-error**%20cost%0A%20%20%20%20%24%24%0A%20%20%20%20J(%5Cboldsymbol%7B%5Cphi%7D)%20%3D%20%5Cmathbb%7BE%7D%5C!%5Cleft%5C%7B(Y%20-%20g(%5Cmathbf%7BX%7D%2C%5Cboldsymbol%7B%5Cphi%7D))%5E2%5Cright%5C%7D.%0A%20%20%20%20%24%24%0A%0A%20%20%20%20We%20focus%20on%20the%20**linear%20(affine)%20MMSE**%20estimator.%20For%20a%20single%20input%20the%20solution%0A%20%20%20%20is%20the%20regression%20line%20%24%5Cwidehat%7BY%7D%3Da_%7B%5Cmathrm%7BMMSE%7D%7DX%2Bb_%7B%5Cmathrm%7BMMSE%7D%7D%24%20with%0A%20%20%20%20%24a_%7B%5Cmathrm%7BMMSE%7D%7D%3DC_%7BXY%7D%2F%5Csigma_X%5E2%24%20and%20%24b_%7B%5Cmathrm%7BMMSE%7D%7D%3Dm_Y-a_%7B%5Cmathrm%7BMMSE%7D%7Dm_X%24.%0A%20%20%20%20For%20several%20inputs%20it%20is%20the%20**Wiener%20solution**%0A%20%20%20%20%24%24%0A%20%20%20%20%5Cmathbf%7Ba%7D_%7B%5Cmathrm%7BMMSE%7D%7D%20%3D%20%5Cmathbf%7BR%7D_%7BXX%7D%5E%7B-1%7D%5Cmathbf%7BR%7D_%7BXY%7D%2C%0A%20%20%20%20%5Cqquad%20%5Cmathbf%7BR%7D_%7BXX%7D%3D%5Cmathbb%7BE%7D%5C%7B%5Cmathbf%7BX%7D%5Cmathbf%7BX%7D%5E%5Ctop%5C%7D.%0A%20%20%20%20%24%24%0A%20%20%20%20The%20headline%20of%20this%20notebook%20is%20what%20happens%20to%20that%20**matrix%20inverse**%20when%20two%0A%20%20%20%20input%20features%20are%20nearly%20the%20same%20%E2%80%94%20and%20how%20**regularization**%20repairs%20it.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%200%20%C2%B7%20Which%20features%20carry%20the%20same%20information%3F%0A%0A%20%20%20%20Before%20predicting%20anything%2C%20look%20at%20the%20**correlation%20matrix**%20of%20the%20four%0A%20%20%20%20features.%20Each%20entry%20is%20%24%5Crho_%7Bij%7D%3DC_%7Bij%7D%2F(%5Csigma_i%5Csigma_j)%5Cin%5B-1%2C1%5D%24.%20The%20two%0A%20%20%20%20petal%20measurements%20are%20almost%20perfectly%20correlated%20(%24%5Crho%5Capprox%200.96%24)%3A%20they%20are%0A%20%20%20%20nearly%20**redundant%20copies**%20of%20one%20another.%20That%20redundancy%20is%20exactly%20what%20makes%0A%20%20%20%20the%20inverse%20%24%5Cmathbf%7BR%7D_%7BXX%7D%5E%7B-1%7D%24%20unstable%20in%20Section%202.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(CORR%2C%20FEATURES%2C%20FEATURE_SHORT%2C%20plt)%3A%0A%20%20%20%20fig_corr%2C%20_ax%20%3D%20plt.subplots(figsize%3D(6.4%2C%205.4))%0A%20%20%20%20_labels%20%3D%20%5BFEATURE_SHORT%5B_f%5D%20for%20_f%20in%20FEATURES%5D%0A%20%20%20%20_im%20%3D%20_ax.imshow(CORR%2C%20cmap%3D%22RdBu_r%22%2C%20vmin%3D-1%2C%20vmax%3D1)%0A%20%20%20%20_ax.set_xticks(range(4))%0A%20%20%20%20_ax.set_yticks(range(4))%0A%20%20%20%20_ax.set_xticklabels(_labels%2C%20rotation%3D20%2C%20ha%3D%22right%22)%0A%20%20%20%20_ax.set_yticklabels(_labels)%0A%20%20%20%20for%20_i%20in%20range(4)%3A%0A%20%20%20%20%20%20%20%20for%20_j%20in%20range(4)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_val%20%3D%20CORR%5B_i%2C%20_j%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20_ax.text(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_j%2C%20_i%2C%20f%22%7B_val%3A.2f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ha%3D%22center%22%2C%20va%3D%22center%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3D%22white%22%20if%20abs(_val)%20%3E%200.55%20else%20%22black%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fontweight%3D%22bold%22%20if%20_i%20!%3D%20_j%20else%20%22normal%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fontsize%3D11%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20_ax.add_patch(plt.Rectangle((2.5%2C%201.5)%2C%201%2C%201%2C%20fill%3DFalse%2C%20edgecolor%3D%22black%22%2C%20lw%3D2.5))%0A%20%20%20%20_ax.add_patch(plt.Rectangle((1.5%2C%202.5)%2C%201%2C%201%2C%20fill%3DFalse%2C%20edgecolor%3D%22black%22%2C%20lw%3D2.5))%0A%20%20%20%20_ax.set_title(%22Correlation%20matrix%20of%20the%20four%20features%22%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20fig_corr.colorbar(_im%2C%20ax%3D_ax%2C%20fraction%3D0.046%2C%20pad%3D0.04%2C%20label%3Dr%22correlation%20%24%5Crho%24%22)%0A%20%20%20%20fig_corr.tight_layout()%0A%20%20%20%20return%20(fig_corr%2C)%0A%0A%0A%40app.cell%0Adef%20_(fig_corr%2C%20mo)%3A%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.mpl.interactive(fig_corr)%2C%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20r%22The%20boxed%20entry%20%E2%80%94%20**petal%20length%20vs%20petal%20width**%2C%20%24%5Crho%3D0.96%24%20%E2%80%94%20is%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20r%22near-duplicate%20pair%20we%20will%20exploit%20(and%20then%20regularize)%20in%20Section%202.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%201%20%C2%B7%20One%20feature%20predicts%20another%0A%0A%20%20%20%20Pick%20an%20**input**%20feature%20%24X%24%20and%20an%20**output**%20feature%20%24Y%24.%20The%20shaded%20contours%20are%0A%20%20%20%20the%20joint%20density%20%24f_%7BXY%7D(x%2Cy)%24%20estimated%20from%20the%20150%20flowers%20(a%202-D%20kernel%20density%0A%20%20%20%20%E2%80%94%20the%20continuous-density%20picture%20from%20the%20classification%20notebook%2C%20now%20for%20a%20pair%20of%0A%20%20%20%20features).%20The%20black%20line%20is%20the%20affine%20MMSE%20estimator%0A%20%20%20%20%24%24%0A%20%20%20%20%5Cwidehat%7BY%7D%3Da_%7B%5Cmathrm%7BMMSE%7D%7D%5C%2CX%2Bb_%7B%5Cmathrm%7BMMSE%7D%7D%2C%5Cqquad%0A%20%20%20%20a_%7B%5Cmathrm%7BMMSE%7D%7D%3D%5Cfrac%7BC_%7BXY%7D%7D%7B%5Csigma_X%5E2%7D%2C%5Cquad%20b_%7B%5Cmathrm%7BMMSE%7D%7D%3Dm_Y-a_%7B%5Cmathrm%7BMMSE%7D%7Dm_X.%0A%20%20%20%20%24%24%0A%20%20%20%20Move%20the%20**observation**%20slider%20to%20read%20off%20the%20prediction%20%24%5Cwidehat%7BY%7D%24%20for%20a%20measured%0A%20%20%20%20%24X%24.%20The%20green%20line%20is%20the%20constant%20baseline%20%24%5Cwidehat%7BY%7D%3Dm_Y%24%20(predicting%20by%20the%20mean%2C%0A%20%20%20%20which%20ignores%20%24X%24)%3B%20the%20gap%20between%20the%20two%20shows%20how%20much%20the%20input%20feature%20helps.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(FEATURES%2C%20mo)%3A%0A%20%20%20%20in_1%20%3D%20mo.ui.dropdown(options%3DFEATURES%2C%20value%3D%22petal_length%22%2C%20label%3D%22input%20feature%20X%22)%0A%20%20%20%20out_1%20%3D%20mo.ui.dropdown(options%3DFEATURES%2C%20value%3D%22petal_width%22%2C%20label%3D%22output%20feature%20Y%22)%0A%20%20%20%20return%20in_1%2C%20out_1%0A%0A%0A%40app.cell%0Adef%20_(FEATURES%2C%20X%2C%20in_1%2C%20mo%2C%20np)%3A%0A%20%20%20%20_col%20%3D%20X%5B%3A%2C%20FEATURES.index(in_1.value)%5D%0A%20%20%20%20_lo%20%3D%20float(np.floor(_col.min()%20*%202)%20%2F%202)%0A%20%20%20%20_hi%20%3D%20float(np.ceil(_col.max()%20*%202)%20%2F%202)%0A%20%20%20%20obs_1%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D_lo%2C%20stop%3D_hi%2C%20step%3D0.05%2C%0A%20%20%20%20%20%20%20%20value%3Dround((_lo%20%2B%20_hi)%20%2F%202%2C%202)%2C%0A%20%20%20%20%20%20%20%20label%3D%22observation%20x%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(obs_1%2C)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20CLASSES%2C%0A%20%20%20%20CLASS_COLORS%2C%0A%20%20%20%20C_MEAN%2C%0A%20%20%20%20C_MMSE%2C%0A%20%20%20%20C_OBS%2C%0A%20%20%20%20FEATURES%2C%0A%20%20%20%20FEATURE_LABELS%2C%0A%20%20%20%20Line2D%2C%0A%20%20%20%20SPECIES%2C%0A%20%20%20%20X%2C%0A%20%20%20%20gaussian_kde%2C%0A%20%20%20%20in_1%2C%0A%20%20%20%20np%2C%0A%20%20%20%20obs_1%2C%0A%20%20%20%20out_1%2C%0A%20%20%20%20plt%2C%0A)%3A%0A%20%20%20%20_jx%20%3D%20FEATURES.index(in_1.value)%0A%20%20%20%20_jy%20%3D%20FEATURES.index(out_1.value)%0A%0A%20%20%20%20fig_1%2C%20_ax%20%3D%20plt.subplots(figsize%3D(8.4%2C%206.2))%0A%20%20%20%20if%20_jx%20%3D%3D%20_jy%3A%0A%20%20%20%20%20%20%20%20_ax.text(0.5%2C%200.5%2C%20%22Pick%20two%20different%20features%22%2C%20ha%3D%22center%22%2C%20va%3D%22center%22%2C%20fontsize%3D15)%0A%20%20%20%20%20%20%20%20_ax.axis(%22off%22)%0A%20%20%20%20%20%20%20%20note_1%20%3D%20%22Select%20**different**%20input%20and%20output%20features%20to%20fit%20a%20regression%20line.%22%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_x%20%3D%20X%5B%3A%2C%20_jx%5D%0A%20%20%20%20%20%20%20%20_y%20%3D%20X%5B%3A%2C%20_jy%5D%0A%20%20%20%20%20%20%20%20_mx%2C%20_my%20%3D%20_x.mean()%2C%20_y.mean()%0A%20%20%20%20%20%20%20%20_sx%2C%20_sy%20%3D%20_x.std()%2C%20_y.std()%0A%20%20%20%20%20%20%20%20_cxy%20%3D%20np.mean((_x%20-%20_mx)%20*%20(_y%20-%20_my))%0A%20%20%20%20%20%20%20%20_rho%20%3D%20_cxy%20%2F%20(_sx%20*%20_sy)%0A%20%20%20%20%20%20%20%20_a%20%3D%20_cxy%20%2F%20_sx**2%0A%20%20%20%20%20%20%20%20_b%20%3D%20_my%20-%20_a%20*%20_mx%0A%20%20%20%20%20%20%20%20_resid_std%20%3D%20_sy%20*%20np.sqrt(max(1.0%20-%20_rho**2%2C%200.0))%0A%0A%20%20%20%20%20%20%20%20_gx%20%3D%20np.linspace(_x.min()%20-%200.4%2C%20_x.max()%20%2B%200.4%2C%20160)%0A%20%20%20%20%20%20%20%20_gy%20%3D%20np.linspace(_y.min()%20-%200.4%2C%20_y.max()%20%2B%200.4%2C%20160)%0A%20%20%20%20%20%20%20%20_GX%2C%20_GY%20%3D%20np.meshgrid(_gx%2C%20_gy)%0A%20%20%20%20%20%20%20%20_kde%20%3D%20gaussian_kde(np.vstack(%5B_x%2C%20_y%5D))%0A%20%20%20%20%20%20%20%20_dens%20%3D%20_kde(np.vstack(%5B_GX.ravel()%2C%20_GY.ravel()%5D)).reshape(_GX.shape)%0A%20%20%20%20%20%20%20%20_ax.contourf(_GX%2C%20_GY%2C%20_dens%2C%20levels%3D14%2C%20cmap%3D%22Blues%22%2C%20alpha%3D0.55)%0A%0A%20%20%20%20%20%20%20%20for%20_c%20in%20CLASSES%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_m%20%3D%20SPECIES%20%3D%3D%20_c%0A%20%20%20%20%20%20%20%20%20%20%20%20_ax.scatter(_x%5B_m%5D%2C%20_y%5B_m%5D%2C%20s%3D24%2C%20color%3DCLASS_COLORS%5B_c%5D%2C%20alpha%3D0.75%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20edgecolor%3D%22white%22%2C%20linewidth%3D0.4%2C%20label%3D_c)%0A%0A%20%20%20%20%20%20%20%20_line%20%3D%20_a%20*%20_gx%20%2B%20_b%0A%20%20%20%20%20%20%20%20_ax.plot(_gx%2C%20_line%2C%20color%3DC_MMSE%2C%20lw%3D3.0%2C%20label%3D%22affine%20MMSE%22%2C%20zorder%3D6)%0A%20%20%20%20%20%20%20%20_ax.axhline(_my%2C%20color%3DC_MEAN%2C%20lw%3D2.0%2C%20ls%3D%22--%22%2C%20label%3Dr%22baseline%20%24%5Cwidehat%7BY%7D%3Dm_Y%24%22)%0A%0A%20%20%20%20%20%20%20%20_xo%20%3D%20float(obs_1.value)%0A%20%20%20%20%20%20%20%20_yo%20%3D%20_a%20*%20_xo%20%2B%20_b%0A%20%20%20%20%20%20%20%20_ax.axvline(_xo%2C%20color%3DC_OBS%2C%20lw%3D1.5%2C%20ls%3D%22%3A%22)%0A%20%20%20%20%20%20%20%20_ax.plot(%5B_xo%5D%2C%20%5B_yo%5D%2C%20marker%3D%22*%22%2C%20ms%3D22%2C%20mfc%3DC_OBS%2C%20mec%3D%22black%22%2C%20mew%3D1.2%2C%20zorder%3D7)%0A%20%20%20%20%20%20%20%20_ax.annotate(%0A%20%20%20%20%20%20%20%20%20%20%20%20rf%22%24%5Cwidehat%7B%7BY%7D%7D%3D%7B_yo%3A.2f%7D%24%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20xy%3D(_xo%2C%20_yo)%2C%20xytext%3D(_x.min()%2C%20_yo)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3D%22black%22%2C%20fontsize%3D11%2C%20va%3D%22center%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20arrowprops%3Ddict(arrowstyle%3D%22-%3E%22%2C%20color%3DC_OBS%2C%20lw%3D1.5)%2C%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20_ax.set_xlabel(FEATURE_LABELS%5Bin_1.value%5D)%0A%20%20%20%20%20%20%20%20_ax.set_ylabel(FEATURE_LABELS%5Bout_1.value%5D)%0A%20%20%20%20%20%20%20%20_ax.set_title(%22Joint%20density%20and%20the%20affine%20MMSE%20estimator%22%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20%20%20%20%20_ax.grid(alpha%3D0.25)%0A%20%20%20%20%20%20%20%20_ax.spines%5B%5B%22top%22%2C%20%22right%22%5D%5D.set_visible(False)%0A%20%20%20%20%20%20%20%20_handles%2C%20_%20%3D%20_ax.get_legend_handles_labels()%0A%20%20%20%20%20%20%20%20_handles.append(Line2D(%5B0%5D%2C%20%5B0%5D%2C%20marker%3D%22*%22%2C%20color%3D%22w%22%2C%20mfc%3DC_OBS%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mec%3D%22black%22%2C%20ms%3D14%2C%20label%3D%22prediction%20at%20x%22))%0A%20%20%20%20%20%20%20%20_ax.legend(handles%3D_handles%2C%20loc%3D%22best%22%2C%20fontsize%3D8.5)%0A%0A%20%20%20%20%20%20%20%20note_1%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20rf%22Correlation%20%24%5Crho_%7B%7BXY%7D%7D%3D%7B_rho%3A.3f%7D%24%20%26nbsp%3B%E2%9F%B9%26nbsp%3B%20line%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20rf%22%24%5Cwidehat%7B%7BY%7D%7D%3D%7B_a%3A.3f%7D%5C%2CX%2B(%7B_b%3A.3f%7D)%24.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20rf%22Variance%20explained%20%24%5Crho%5E2%3D%7B_rho**2%3A.2f%7D%24%3B%20residual%20std%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20rf%22%24%5Csigma_Y%5Csqrt%7B%7B1-%5Crho%5E2%7D%7D%3D%7B_resid_std%3A.3f%7D%24%20cm%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20rf%22(vs%20%24%5Csigma_Y%3D%7B_sy%3A.3f%7D%24%20cm%20for%20the%20mean%20baseline).%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20rf%22At%20%24x%3D%7B_xo%3A.2f%7D%24%20the%20prediction%20is%20%24%5Cwidehat%7B%7BY%7D%7D%3D%7B_yo%3A.2f%7D%24%20cm.%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20fig_1.tight_layout()%0A%20%20%20%20return%20fig_1%2C%20note_1%0A%0A%0A%40app.cell%0Adef%20_(fig_1%2C%20in_1%2C%20mo%2C%20note_1%2C%20obs_1%2C%20out_1)%3A%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.hstack(%5Bin_1%2C%20out_1%5D)%2C%0A%20%20%20%20%20%20%20%20obs_1%2C%0A%20%20%20%20%20%20%20%20mo.mpl.interactive(fig_1)%2C%0A%20%20%20%20%20%20%20%20mo.md(note_1)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%202%20%C2%B7%20Two%20features%2C%20a%20near-singular%20inverse%2C%20and%20regularization%0A%0A%20%20%20%20Now%20predict%20one%20output%20%24Y%24%20from%20**two**%20inputs%20%24%5Cmathbf%7BX%7D%3D(X_1%2CX_2)%24.%20To%20make%20the%0A%20%20%20%20coefficients%20comparable%20and%20tie%20conditioning%20directly%20to%20correlation%2C%20we%0A%20%20%20%20**standardize**%20every%20feature%20(zero%20mean%2C%20unit%20variance).%20Then%20%24%5Cmathbf%7BR%7D_%7BXX%7D%24%20is%0A%20%20%20%20the%20%242%5Ctimes2%24%20**correlation%20matrix**%20of%20the%20inputs%2C%0A%20%20%20%20%24%24%0A%20%20%20%20%5Cmathbf%7BR%7D_%7BXX%7D%3D%5Cbegin%7Bbmatrix%7D1%20%26%20%5Crho_%7B12%7D%5C%5C%20%5Crho_%7B12%7D%20%26%201%5Cend%7Bbmatrix%7D%2C%0A%20%20%20%20%5Cqquad%0A%20%20%20%20%5Ckappa(%5Cmathbf%7BR%7D_%7BXX%7D)%3D%5Cfrac%7B1%2B%7C%5Crho_%7B12%7D%7C%7D%7B1-%7C%5Crho_%7B12%7D%7C%7D%2C%0A%20%20%20%20%24%24%0A%20%20%20%20and%20the%20Wiener%20solution%20is%20%24%5Cmathbf%7Ba%7D_%7B%5Cmathrm%7BMMSE%7D%7D%3D%5Cmathbf%7BR%7D_%7BXX%7D%5E%7B-1%7D%5Cmathbf%7BR%7D_%7BXY%7D%24.%0A%0A%20%20%20%20When%20the%20two%20inputs%20are%20nearly%20the%20same%20(%24%5Crho_%7B12%7D%5Cto1%24)%2C%20%24%5Cmathbf%7BR%7D_%7BXX%7D%24%20is%0A%20%20%20%20**ill-conditioned**%3A%20%24%5Ckappa%24%20explodes%2C%20so%20the%20inverse%20hugely%20amplifies%20any%20small%0A%20%20%20%20change%20in%20the%20data.%20The%20fix%20is%20**Tikhonov%20%2F%20ridge%20regularization**%2C%20which%20minimizes%0A%20%20%20%20%24J_%5Clambda(%5Cmathbf%7Ba%7D)%3D%5Cmathbb%7BE%7D%5C%7B(Y-%5Cmathbf%7Ba%7D%5E%5Ctop%5Cmathbf%7BX%7D)%5E2%5C%7D%2B%5Clambda%5ClVert%5Cmathbf%7Ba%7D%5CrVert_2%5E2%24%0A%20%20%20%20and%20gives%0A%20%20%20%20%24%24%0A%20%20%20%20%5Cmathbf%7Ba%7D_%5Clambda%3D(%5Cmathbf%7BR%7D_%7BXX%7D%2B%5Clambda%5Cmathbf%7BI%7D)%5E%7B-1%7D%5Cmathbf%7BR%7D_%7BXY%7D%2C%0A%20%20%20%20%5Cqquad%20%5Clambda%3D%5Cfrac%7B%5Csigma_%5Cvarepsilon%5E2%7D%7B%5Csigma_a%5E2%7D.%0A%20%20%20%20%24%24%0A%20%20%20%20Adding%20%24%5Clambda%24%20to%20the%20diagonal%20pulls%20the%20eigenvalues%20away%20from%20zero%20%E2%80%94%20the%20inverse%0A%20%20%20%20becomes%20stable%20again%2C%20at%20the%20price%20of%20shrinking%20the%20coefficients%20toward%20%24%5Cmathbf%7B0%7D%24.%0A%0A%20%20%20%20**Try%20the%20default**%20%E2%80%94%20predict%20*sepal%20length*%20from%20the%20two%20near-duplicate%20petals%20%E2%80%94%0A%20%20%20%20then%20resample%20(the%20bootstrap%20cloud)%20and%20raise%20%24%5Clambda%24.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(FEATURES%2C%20mo)%3A%0A%20%20%20%20out_2%20%3D%20mo.ui.dropdown(options%3DFEATURES%2C%20value%3D%22sepal_length%22%2C%20label%3D%22output%20Y%22)%0A%20%20%20%20in_2a%20%3D%20mo.ui.dropdown(options%3DFEATURES%2C%20value%3D%22petal_length%22%2C%20label%3D%22input%20X1%22)%0A%20%20%20%20in_2b%20%3D%20mo.ui.dropdown(options%3DFEATURES%2C%20value%3D%22petal_width%22%2C%20label%3D%22input%20X2%22)%0A%20%20%20%20lam_2%20%3D%20mo.ui.slider(start%3D0.0%2C%20stop%3D1.0%2C%20step%3D0.02%2C%20value%3D0.0%2C%20label%3D%22regularizer%20lambda%22)%0A%20%20%20%20nboot_2%20%3D%20mo.ui.slider(start%3D100%2C%20stop%3D800%2C%20step%3D50%2C%20value%3D400%2C%20label%3D%22bootstrap%20resamples%22)%0A%20%20%20%20seed_2%20%3D%20mo.ui.slider(start%3D0%2C%20stop%3D100%2C%20step%3D1%2C%20value%3D0%2C%20label%3D%22random%20seed%22)%0A%20%20%20%20return%20in_2a%2C%20in_2b%2C%20lam_2%2C%20nboot_2%2C%20out_2%2C%20seed_2%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20C_PLAIN%2C%0A%20%20%20%20C_RIDGE%2C%0A%20%20%20%20FEATURES%2C%0A%20%20%20%20FEATURE_SHORT%2C%0A%20%20%20%20Z%2C%0A%20%20%20%20in_2a%2C%0A%20%20%20%20in_2b%2C%0A%20%20%20%20lam_2%2C%0A%20%20%20%20nboot_2%2C%0A%20%20%20%20np%2C%0A%20%20%20%20out_2%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20seed_2%2C%0A)%3A%0A%20%20%20%20_iy%20%3D%20FEATURES.index(out_2.value)%0A%20%20%20%20_i1%20%3D%20FEATURES.index(in_2a.value)%0A%20%20%20%20_i2%20%3D%20FEATURES.index(in_2b.value)%0A%20%20%20%20_lab1%20%3D%20FEATURE_SHORT%5Bin_2a.value%5D%0A%20%20%20%20_lab2%20%3D%20FEATURE_SHORT%5Bin_2b.value%5D%0A%0A%20%20%20%20fig_2%2C%20(_axc%2C%20_axb)%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(13.4%2C%205.6))%0A%20%20%20%20_bad%20%3D%20len(%7B_iy%2C%20_i1%2C%20_i2%7D)%20%3C%203%0A%20%20%20%20if%20_bad%3A%0A%20%20%20%20%20%20%20%20for%20_a%20in%20(_axc%2C%20_axb)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_a.text(0.5%2C%200.5%2C%20%22Pick%20three%20different%20features%22%2C%20ha%3D%22center%22%2C%20va%3D%22center%22%2C%20fontsize%3D14)%0A%20%20%20%20%20%20%20%20%20%20%20%20_a.axis(%22off%22)%0A%20%20%20%20%20%20%20%20note_2%20%3D%20%22Choose%20**three%20distinct**%20features%20(one%20output%2C%20two%20inputs).%22%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_lam%20%3D%20float(lam_2.value)%0A%20%20%20%20%20%20%20%20_zin%20%3D%20Z%5B%3A%2C%20%5B_i1%2C%20_i2%5D%5D%0A%20%20%20%20%20%20%20%20_zy%20%3D%20Z%5B%3A%2C%20_iy%5D%0A%20%20%20%20%20%20%20%20_N%20%3D%20Z.shape%5B0%5D%0A%0A%20%20%20%20%20%20%20%20_Rxx%20%3D%20_zin.T%20%40%20_zin%20%2F%20_N%0A%20%20%20%20%20%20%20%20_Rxy%20%3D%20_zin.T%20%40%20_zy%20%2F%20_N%0A%20%20%20%20%20%20%20%20_rho12%20%3D%20_Rxx%5B0%2C%201%5D%0A%20%20%20%20%20%20%20%20_cond%20%3D%20(1.0%20%2B%20abs(_rho12))%20%2F%20(1.0%20-%20abs(_rho12))%0A%20%20%20%20%20%20%20%20_a_plain%20%3D%20np.linalg.solve(_Rxx%2C%20_Rxy)%0A%20%20%20%20%20%20%20%20_a_ridge%20%3D%20np.linalg.solve(_Rxx%20%2B%20_lam%20*%20np.eye(2)%2C%20_Rxy)%0A%0A%20%20%20%20%20%20%20%20_rng%20%3D%20np.random.default_rng(int(seed_2.value))%0A%20%20%20%20%20%20%20%20_B%20%3D%20int(nboot_2.value)%0A%20%20%20%20%20%20%20%20_boot_plain%20%3D%20np.empty((_B%2C%202))%0A%20%20%20%20%20%20%20%20_boot_ridge%20%3D%20np.empty((_B%2C%202))%0A%20%20%20%20%20%20%20%20for%20_b%20in%20range(_B)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_idx%20%3D%20_rng.integers(0%2C%20_N%2C%20_N)%0A%20%20%20%20%20%20%20%20%20%20%20%20_zi%20%3D%20_zin%5B_idx%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20_zyi%20%3D%20_zy%5B_idx%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20_R%20%3D%20_zi.T%20%40%20_zi%20%2F%20_N%0A%20%20%20%20%20%20%20%20%20%20%20%20_r%20%3D%20_zi.T%20%40%20_zyi%20%2F%20_N%0A%20%20%20%20%20%20%20%20%20%20%20%20_boot_plain%5B_b%5D%20%3D%20np.linalg.solve(_R%2C%20_r)%0A%20%20%20%20%20%20%20%20%20%20%20%20_boot_ridge%5B_b%5D%20%3D%20np.linalg.solve(_R%20%2B%20_lam%20*%20np.eye(2)%2C%20_r)%0A%0A%20%20%20%20%20%20%20%20_axc.scatter(_boot_plain%5B%3A%2C%200%5D%2C%20_boot_plain%5B%3A%2C%201%5D%2C%20s%3D12%2C%20color%3DC_PLAIN%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alpha%3D0.30%2C%20label%3D%22plain%20(lambda%3D0)%22)%0A%20%20%20%20%20%20%20%20if%20_lam%20%3E%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_axc.scatter(_boot_ridge%5B%3A%2C%200%5D%2C%20_boot_ridge%5B%3A%2C%201%5D%2C%20s%3D12%2C%20color%3DC_RIDGE%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alpha%3D0.30%2C%20label%3Df%22ridge%20(lambda%3D%7B_lam%3A.2f%7D)%22)%0A%20%20%20%20%20%20%20%20_axc.scatter(%5B_a_plain%5B0%5D%5D%2C%20%5B_a_plain%5B1%5D%5D%2C%20marker%3D%22*%22%2C%20s%3D240%2C%20color%3DC_PLAIN%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20edgecolor%3D%22white%22%2C%20linewidth%3D0.8%2C%20zorder%3D6%2C%20label%3D%22plain%2C%20full%20data%22)%0A%20%20%20%20%20%20%20%20if%20_lam%20%3E%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_axc.scatter(%5B_a_ridge%5B0%5D%5D%2C%20%5B_a_ridge%5B1%5D%5D%2C%20marker%3D%22*%22%2C%20s%3D240%2C%20color%3DC_RIDGE%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20edgecolor%3D%22white%22%2C%20linewidth%3D0.8%2C%20zorder%3D6%2C%20label%3D%22ridge%2C%20full%20data%22)%0A%20%20%20%20%20%20%20%20_axc.axhline(0%2C%20color%3D%22gray%22%2C%20lw%3D0.8)%0A%20%20%20%20%20%20%20%20_axc.axvline(0%2C%20color%3D%22gray%22%2C%20lw%3D0.8)%0A%20%20%20%20%20%20%20%20_axc.set_xlabel(rf%22%24a_1%24%20(coef.%20of%20%7B_lab1%7D)%22)%0A%20%20%20%20%20%20%20%20_axc.set_ylabel(rf%22%24a_2%24%20(coef.%20of%20%7B_lab2%7D)%22)%0A%20%20%20%20%20%20%20%20_axc.set_ylim(-2%2C%202)%0A%20%20%20%20%20%20%20%20_axc.set_xlim(-2%2C%202)%0A%20%20%20%20%20%20%20%20_axc.set_title(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Bootstrap%20coefficient%20cloud%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20r%22%24%5Ckappa(%5Cmathbf%7BR%7D_%7BXX%7D)%24%3D%22%20%2B%20f%22%7B_cond%3A.1f%7D%2C%20%20%22%20%2B%20rf%22%24%5Crho_%7B%7B12%7D%7D%24%3D%7B_rho12%3A.3f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20fontweight%3D%22bold%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_axc.grid(alpha%3D0.25)%0A%20%20%20%20%20%20%20%20_axc.legend(fontsize%3D8.5%2C%20loc%3D%22best%22)%0A%20%20%20%20%20%20%20%20_axc.spines%5B%5B%22top%22%2C%20%22right%22%5D%5D.set_visible(False)%0A%0A%20%20%20%20%20%20%20%20_xpos%20%3D%20np.array(%5B0%2C%201%5D)%0A%20%20%20%20%20%20%20%20_w%20%3D%200.36%0A%20%20%20%20%20%20%20%20_axb.bar(_xpos%20-%20_w%20%2F%202%2C%20_a_plain%2C%20_w%2C%20color%3DC_PLAIN%2C%20alpha%3D0.85%2C%20label%3D%22plain%22)%0A%20%20%20%20%20%20%20%20_axb.bar(_xpos%20%2B%20_w%20%2F%202%2C%20_a_ridge%2C%20_w%2C%20color%3DC_RIDGE%2C%20alpha%3D0.85%2C%20label%3D%22ridge%22)%0A%20%20%20%20%20%20%20%20_axb.axhline(0%2C%20color%3D%22black%22%2C%20lw%3D1.0)%0A%20%20%20%20%20%20%20%20_axb.set_xticks(_xpos)%0A%20%20%20%20%20%20%20%20_axb.set_xticklabels(%5Bf%22a1%5Cn%7B_lab1%7D%22%2C%20f%22a2%5Cn%7B_lab2%7D%22%5D)%0A%20%20%20%20%20%20%20%20_axb.set_ylabel(%22standardized%20coefficient%22)%0A%20%20%20%20%20%20%20%20_axb.set_title(%22Full-data%20coefficients%3A%20plain%20vs%20ridge%22%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20%20%20%20%20_axb.grid(alpha%3D0.25%2C%20axis%3D%22y%22)%0A%20%20%20%20%20%20%20%20_axb.legend(fontsize%3D9)%0A%20%20%20%20%20%20%20%20_axb.spines%5B%5B%22top%22%2C%20%22right%22%5D%5D.set_visible(False)%0A%0A%20%20%20%20%20%20%20%20_sd_plain%20%3D%20_boot_plain.std(axis%3D0)%0A%20%20%20%20%20%20%20%20_sd_ridge%20%3D%20_boot_ridge.std(axis%3D0)%0A%20%20%20%20%20%20%20%20_signflip%20%3D%20np.any(np.sign(_a_plain)%20!%3D%20np.sign(_Rxy))%0A%20%20%20%20%20%20%20%20_flipnote%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%20Note%20the%20**sign%20flip**%3A%20a%20coefficient%20disagrees%20in%20sign%20with%20its%20own%20input%E2%80%93output%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22correlation%20%E2%80%94%20a%20classic%20symptom%20of%20collinear%20inputs.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20_signflip%20else%20%22%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20note_2%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20rf%22%24%5Crho_%7B%7B12%7D%7D%3D%7B_rho12%3A.3f%7D%24%2C%20condition%20number%20%24%5Ckappa(%5Cmathbf%7B%7BR%7D%7D_%7B%7BXX%7D%7D)%3D%7B_cond%3A.1f%7D%24.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20rf%22Plain%20%24%5Cmathbf%7B%7Ba%7D%7D%3D(%7B_a_plain%5B0%5D%3A.3f%7D%2C%5C%2C%7B_a_plain%5B1%5D%3A.3f%7D)%24%3B%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20rf%22ridge%20%24%5Cmathbf%7B%7Ba%7D%7D_%5Clambda%3D(%7B_a_ridge%5B0%5D%3A.3f%7D%2C%5C%2C%7B_a_ridge%5B1%5D%3A.3f%7D)%24.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20rf%22Bootstrap%20std%20of%20coefficients%3A%20plain%20%24(%7B_sd_plain%5B0%5D%3A.3f%7D%2C%5C%2C%7B_sd_plain%5B1%5D%3A.3f%7D)%24%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20rf%22ridge%20%24(%7B_sd_ridge%5B0%5D%3A.3f%7D%2C%5C%2C%7B_sd_ridge%5B1%5D%3A.3f%7D)%24.%7B_flipnote%7D%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20fig_2.tight_layout()%0A%20%20%20%20return%20fig_2%2C%20note_2%0A%0A%0A%40app.cell%0Adef%20_(fig_2%2C%20in_2a%2C%20in_2b%2C%20lam_2%2C%20mo%2C%20nboot_2%2C%20note_2%2C%20out_2%2C%20seed_2)%3A%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.hstack(%5Bout_2%2C%20in_2a%2C%20in_2b%5D)%2C%0A%20%20%20%20%20%20%20%20mo.hstack(%5Blam_2%2C%20nboot_2%2C%20seed_2%5D)%2C%0A%20%20%20%20%20%20%20%20mo.mpl.interactive(fig_2)%2C%0A%20%20%20%20%20%20%20%20mo.md(note_2)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Key%20takeaways%0A%0A%20%20%20%201.%20**Linear%20regression%20is%20the%20linear%20MMSE%20estimator.**%20Minimizing%0A%20%20%20%20%20%20%20%24J(%5Cboldsymbol%7B%5Cphi%7D)%3D%5Cmathbb%7BE%7D%5C%7B(Y-g(%5Cmathbf%7BX%7D%2C%5Cboldsymbol%7B%5Cphi%7D))%5E2%5C%7D%24%20over%20affine%0A%20%20%20%20%20%20%20functions%20gives%20the%20line%20%24a_%7B%5Cmathrm%7BMMSE%7D%7D%3DC_%7BXY%7D%2F%5Csigma_X%5E2%24%20for%20one%20input%20and%20the%0A%20%20%20%20%20%20%20Wiener%20solution%20%24%5Cmathbf%7Ba%7D_%7B%5Cmathrm%7BMMSE%7D%7D%3D%5Cmathbf%7BR%7D_%7BXX%7D%5E%7B-1%7D%5Cmathbf%7BR%7D_%7BXY%7D%24%20for%20several.%0A%0A%20%20%20%202.%20**Correlated%20inputs%20make%20the%20inverse%20ill-conditioned.**%20With%20standardized%20features%2C%0A%20%20%20%20%20%20%20%24%5Cmathbf%7BR%7D_%7BXX%7D%24%20is%20the%20input%20correlation%20matrix%20and%0A%20%20%20%20%20%20%20%24%5Ckappa%3D%5Ctfrac%7B1%2B%7C%5Crho_%7B12%7D%7C%7D%7B1-%7C%5Crho_%7B12%7D%7C%7D%24.%20The%20two%20petal%20measurements%20are%0A%20%20%20%20%20%20%20%2496%5C%25%24%20correlated%2C%20so%20%24%5Ckappa%5Capprox53%24%3A%20%24%5Cmathbf%7BR%7D_%7BXX%7D%5E%7B-1%7D%24%20amplifies%20sampling%0A%20%20%20%20%20%20%20noise%2C%20the%20coefficients%20scatter%20wildly%20under%20resampling%2C%20and%20one%20even%20flips%20sign.%0A%0A%20%20%20%203.%20**Regularization%20repairs%20it.**%20Ridge%20replaces%20%24%5Cmathbf%7BR%7D_%7BXX%7D%5E%7B-1%7D%24%20by%0A%20%20%20%20%20%20%20%24(%5Cmathbf%7BR%7D_%7BXX%7D%2B%5Clambda%5Cmathbf%7BI%7D)%5E%7B-1%7D%24%2C%20lifting%20the%20eigenvalues%20away%20from%20zero.%0A%20%20%20%20%20%20%20The%20bootstrap%20cloud%20collapses%20and%20the%20coefficients%20become%20stable%20and%20interpretable%20%E2%80%94%0A%20%20%20%20%20%20%20at%20the%20cost%20of%20shrinkage%20toward%20zero.%20In%20the%20Bayesian%20view%20this%20is%20a%20Gaussian%20prior%0A%20%20%20%20%20%20%20%24%5Cmathbf%7Ba%7D%5Csim%5Cmathcal%7BN%7D(%5Cmathbf%7B0%7D%2C%5Csigma_a%5E2%5Cmathbf%7BI%7D)%24%20with%0A%20%20%20%20%20%20%20%24%5Clambda%3D%5Csigma_%5Cvarepsilon%5E2%2F%5Csigma_a%5E2%24.%0A%0A%20%20%20%204.%20**Regularization%20is%20not%20always%20worth%20it.**%20Swap%20in%20a%20well-conditioned%20pair%20(e.g.%0A%20%20%20%20%20%20%20petal%20length%20and%20sepal%20width%2C%20%24%5Crho_%7B12%7D%5Capprox-0.43%24%2C%20%24%5Ckappa%5Capprox2.5%24)%3A%20the%20plain%0A%20%20%20%20%20%20%20coefficients%20are%20already%20stable%2C%20so%20ridge%20mostly%20just%20adds%20bias.%20The%20payoff%20appears%0A%20%20%20%20%20%20%20precisely%20when%20the%20inputs%20are%20near-duplicates.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A