iris maximum likelihood interactive

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.11%22%0A%23%20dependencies%20%3D%20%5B%22marimo%3E%3D0.23.9%22%2C%20%22matplotlib%3D%3D3.10.8%22%2C%20%22numpy%3D%3D2.4.3%22%2C%20%22plotly%22%2C%20%22scipy%3D%3D1.17.1%22%5D%0A%23%20%0A%23%20%5Btool.marimo.export%5D%0A%23%20lock_kind%20%3D%20%22resolved%22%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.23.13%22%0Aapp%20%3D%20marimo.App()%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20io%0A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20from%20matplotlib.lines%20import%20Line2D%0A%20%20%20%20from%20matplotlib.patches%20import%20Patch%0A%20%20%20%20from%20scipy.stats%20import%20gaussian_kde%0A%0A%20%20%20%20plt.style.use(%22default%22)%0A%20%20%20%20return%20Line2D%2C%20Patch%2C%20gaussian_kde%2C%20io%2C%20mo%2C%20np%2C%20plt%0A%0A%0A%40app.cell%0Adef%20_(io%2C%20np)%3A%0A%20%20%20%20IRIS_CSV%20%3D%20%22%22%22sepal_length%2Csepal_width%2Cpetal_length%2Cpetal_width%2Cspecies%0A%20%20%20%205.1%2C3.5%2C1.4%2C0.2%2Csetosa%0A%20%20%20%204.9%2C3.0%2C1.4%2C0.2%2Csetosa%0A%20%20%20%204.7%2C3.2%2C1.3%2C0.2%2Csetosa%0A%20%20%20%204.6%2C3.1%2C1.5%2C0.2%2Csetosa%0A%20%20%20%205.0%2C3.6%2C1.4%2C0.2%2Csetosa%0A%20%20%20%205.4%2C3.9%2C1.7%2C0.4%2Csetosa%0A%20%20%20%204.6%2C3.4%2C1.4%2C0.3%2Csetosa%0A%20%20%20%205.0%2C3.4%2C1.5%2C0.2%2Csetosa%0A%20%20%20%204.4%2C2.9%2C1.4%2C0.2%2Csetosa%0A%20%20%20%204.9%2C3.1%2C1.5%2C0.1%2Csetosa%0A%20%20%20%205.4%2C3.7%2C1.5%2C0.2%2Csetosa%0A%20%20%20%204.8%2C3.4%2C1.6%2C0.2%2Csetosa%0A%20%20%20%204.8%2C3.0%2C1.4%2C0.1%2Csetosa%0A%20%20%20%204.3%2C3.0%2C1.1%2C0.1%2Csetosa%0A%20%20%20%205.8%2C4.0%2C1.2%2C0.2%2Csetosa%0A%20%20%20%205.7%2C4.4%2C1.5%2C0.4%2Csetosa%0A%20%20%20%205.4%2C3.9%2C1.3%2C0.4%2Csetosa%0A%20%20%20%205.1%2C3.5%2C1.4%2C0.3%2Csetosa%0A%20%20%20%205.7%2C3.8%2C1.7%2C0.3%2Csetosa%0A%20%20%20%205.1%2C3.8%2C1.5%2C0.3%2Csetosa%0A%20%20%20%205.4%2C3.4%2C1.7%2C0.2%2Csetosa%0A%20%20%20%205.1%2C3.7%2C1.5%2C0.4%2Csetosa%0A%20%20%20%204.6%2C3.6%2C1.0%2C0.2%2Csetosa%0A%20%20%20%205.1%2C3.3%2C1.7%2C0.5%2Csetosa%0A%20%20%20%204.8%2C3.4%2C1.9%2C0.2%2Csetosa%0A%20%20%20%205.0%2C3.0%2C1.6%2C0.2%2Csetosa%0A%20%20%20%205.0%2C3.4%2C1.6%2C0.4%2Csetosa%0A%20%20%20%205.2%2C3.5%2C1.5%2C0.2%2Csetosa%0A%20%20%20%205.2%2C3.4%2C1.4%2C0.2%2Csetosa%0A%20%20%20%204.7%2C3.2%2C1.6%2C0.2%2Csetosa%0A%20%20%20%204.8%2C3.1%2C1.6%2C0.2%2Csetosa%0A%20%20%20%205.4%2C3.4%2C1.5%2C0.4%2Csetosa%0A%20%20%20%205.2%2C4.1%2C1.5%2C0.1%2Csetosa%0A%20%20%20%205.5%2C4.2%2C1.4%2C0.2%2Csetosa%0A%20%20%20%204.9%2C3.1%2C1.5%2C0.2%2Csetosa%0A%20%20%20%205.0%2C3.2%2C1.2%2C0.2%2Csetosa%0A%20%20%20%205.5%2C3.5%2C1.3%2C0.2%2Csetosa%0A%20%20%20%204.9%2C3.6%2C1.4%2C0.1%2Csetosa%0A%20%20%20%204.4%2C3.0%2C1.3%2C0.2%2Csetosa%0A%20%20%20%205.1%2C3.4%2C1.5%2C0.2%2Csetosa%0A%20%20%20%205.0%2C3.5%2C1.3%2C0.3%2Csetosa%0A%20%20%20%204.5%2C2.3%2C1.3%2C0.3%2Csetosa%0A%20%20%20%204.4%2C3.2%2C1.3%2C0.2%2Csetosa%0A%20%20%20%205.0%2C3.5%2C1.6%2C0.6%2Csetosa%0A%20%20%20%205.1%2C3.8%2C1.9%2C0.4%2Csetosa%0A%20%20%20%204.8%2C3.0%2C1.4%2C0.3%2Csetosa%0A%20%20%20%205.1%2C3.8%2C1.6%2C0.2%2Csetosa%0A%20%20%20%204.6%2C3.2%2C1.4%2C0.2%2Csetosa%0A%20%20%20%205.3%2C3.7%2C1.5%2C0.2%2Csetosa%0A%20%20%20%205.0%2C3.3%2C1.4%2C0.2%2Csetosa%0A%20%20%20%207.0%2C3.2%2C4.7%2C1.4%2Cversicolor%0A%20%20%20%206.4%2C3.2%2C4.5%2C1.5%2Cversicolor%0A%20%20%20%206.9%2C3.1%2C4.9%2C1.5%2Cversicolor%0A%20%20%20%205.5%2C2.3%2C4.0%2C1.3%2Cversicolor%0A%20%20%20%206.5%2C2.8%2C4.6%2C1.5%2Cversicolor%0A%20%20%20%205.7%2C2.8%2C4.5%2C1.3%2Cversicolor%0A%20%20%20%206.3%2C3.3%2C4.7%2C1.6%2Cversicolor%0A%20%20%20%204.9%2C2.4%2C3.3%2C1.0%2Cversicolor%0A%20%20%20%206.6%2C2.9%2C4.6%2C1.3%2Cversicolor%0A%20%20%20%205.2%2C2.7%2C3.9%2C1.4%2Cversicolor%0A%20%20%20%205.0%2C2.0%2C3.5%2C1.0%2Cversicolor%0A%20%20%20%205.9%2C3.0%2C4.2%2C1.5%2Cversicolor%0A%20%20%20%206.0%2C2.2%2C4.0%2C1.0%2Cversicolor%0A%20%20%20%206.1%2C2.9%2C4.7%2C1.4%2Cversicolor%0A%20%20%20%205.6%2C2.9%2C3.6%2C1.3%2Cversicolor%0A%20%20%20%206.7%2C3.1%2C4.4%2C1.4%2Cversicolor%0A%20%20%20%205.6%2C3.0%2C4.5%2C1.5%2Cversicolor%0A%20%20%20%205.8%2C2.7%2C4.1%2C1.0%2Cversicolor%0A%20%20%20%206.2%2C2.2%2C4.5%2C1.5%2Cversicolor%0A%20%20%20%205.6%2C2.5%2C3.9%2C1.1%2Cversicolor%0A%20%20%20%205.9%2C3.2%2C4.8%2C1.8%2Cversicolor%0A%20%20%20%206.1%2C2.8%2C4.0%2C1.3%2Cversicolor%0A%20%20%20%206.3%2C2.5%2C4.9%2C1.5%2Cversicolor%0A%20%20%20%206.1%2C2.8%2C4.7%2C1.2%2Cversicolor%0A%20%20%20%206.4%2C2.9%2C4.3%2C1.3%2Cversicolor%0A%20%20%20%206.6%2C3.0%2C4.4%2C1.4%2Cversicolor%0A%20%20%20%206.8%2C2.8%2C4.8%2C1.4%2Cversicolor%0A%20%20%20%206.7%2C3.0%2C5.0%2C1.7%2Cversicolor%0A%20%20%20%206.0%2C2.9%2C4.5%2C1.5%2Cversicolor%0A%20%20%20%205.7%2C2.6%2C3.5%2C1.0%2Cversicolor%0A%20%20%20%205.5%2C2.4%2C3.8%2C1.1%2Cversicolor%0A%20%20%20%205.5%2C2.4%2C3.7%2C1.0%2Cversicolor%0A%20%20%20%205.8%2C2.7%2C3.9%2C1.2%2Cversicolor%0A%20%20%20%206.0%2C2.7%2C5.1%2C1.6%2Cversicolor%0A%20%20%20%205.4%2C3.0%2C4.5%2C1.5%2Cversicolor%0A%20%20%20%206.0%2C3.4%2C4.5%2C1.6%2Cversicolor%0A%20%20%20%206.7%2C3.1%2C4.7%2C1.5%2Cversicolor%0A%20%20%20%206.3%2C2.3%2C4.4%2C1.3%2Cversicolor%0A%20%20%20%205.6%2C3.0%2C4.1%2C1.3%2Cversicolor%0A%20%20%20%205.5%2C2.5%2C4.0%2C1.3%2Cversicolor%0A%20%20%20%205.5%2C2.6%2C4.4%2C1.2%2Cversicolor%0A%20%20%20%206.1%2C3.0%2C4.6%2C1.4%2Cversicolor%0A%20%20%20%205.8%2C2.6%2C4.0%2C1.2%2Cversicolor%0A%20%20%20%205.0%2C2.3%2C3.3%2C1.0%2Cversicolor%0A%20%20%20%205.6%2C2.7%2C4.2%2C1.3%2Cversicolor%0A%20%20%20%205.7%2C3.0%2C4.2%2C1.2%2Cversicolor%0A%20%20%20%205.7%2C2.9%2C4.2%2C1.3%2Cversicolor%0A%20%20%20%206.2%2C2.9%2C4.3%2C1.3%2Cversicolor%0A%20%20%20%205.1%2C2.5%2C3.0%2C1.1%2Cversicolor%0A%20%20%20%205.7%2C2.8%2C4.1%2C1.3%2Cversicolor%0A%20%20%20%206.3%2C3.3%2C6.0%2C2.5%2Cvirginica%0A%20%20%20%205.8%2C2.7%2C5.1%2C1.9%2Cvirginica%0A%20%20%20%207.1%2C3.0%2C5.9%2C2.1%2Cvirginica%0A%20%20%20%206.3%2C2.9%2C5.6%2C1.8%2Cvirginica%0A%20%20%20%206.5%2C3.0%2C5.8%2C2.2%2Cvirginica%0A%20%20%20%207.6%2C3.0%2C6.6%2C2.1%2Cvirginica%0A%20%20%20%204.9%2C2.5%2C4.5%2C1.7%2Cvirginica%0A%20%20%20%207.3%2C2.9%2C6.3%2C1.8%2Cvirginica%0A%20%20%20%206.7%2C2.5%2C5.8%2C1.8%2Cvirginica%0A%20%20%20%207.2%2C3.6%2C6.1%2C2.5%2Cvirginica%0A%20%20%20%206.5%2C3.2%2C5.1%2C2.0%2Cvirginica%0A%20%20%20%206.4%2C2.7%2C5.3%2C1.9%2Cvirginica%0A%20%20%20%206.8%2C3.0%2C5.5%2C2.1%2Cvirginica%0A%20%20%20%205.7%2C2.5%2C5.0%2C2.0%2Cvirginica%0A%20%20%20%205.8%2C2.8%2C5.1%2C2.4%2Cvirginica%0A%20%20%20%206.4%2C3.2%2C5.3%2C2.3%2Cvirginica%0A%20%20%20%206.5%2C3.0%2C5.5%2C1.8%2Cvirginica%0A%20%20%20%207.7%2C3.8%2C6.7%2C2.2%2Cvirginica%0A%20%20%20%207.7%2C2.6%2C6.9%2C2.3%2Cvirginica%0A%20%20%20%206.0%2C2.2%2C5.0%2C1.5%2Cvirginica%0A%20%20%20%206.9%2C3.2%2C5.7%2C2.3%2Cvirginica%0A%20%20%20%205.6%2C2.8%2C4.9%2C2.0%2Cvirginica%0A%20%20%20%207.7%2C2.8%2C6.7%2C2.0%2Cvirginica%0A%20%20%20%206.3%2C2.7%2C4.9%2C1.8%2Cvirginica%0A%20%20%20%206.7%2C3.3%2C5.7%2C2.1%2Cvirginica%0A%20%20%20%207.2%2C3.2%2C6.0%2C1.8%2Cvirginica%0A%20%20%20%206.2%2C2.8%2C4.8%2C1.8%2Cvirginica%0A%20%20%20%206.1%2C3.0%2C4.9%2C1.8%2Cvirginica%0A%20%20%20%206.4%2C2.8%2C5.6%2C2.1%2Cvirginica%0A%20%20%20%207.2%2C3.0%2C5.8%2C1.6%2Cvirginica%0A%20%20%20%207.4%2C2.8%2C6.1%2C1.9%2Cvirginica%0A%20%20%20%207.9%2C3.8%2C6.4%2C2.0%2Cvirginica%0A%20%20%20%206.4%2C2.8%2C5.6%2C2.2%2Cvirginica%0A%20%20%20%206.3%2C2.8%2C5.1%2C1.5%2Cvirginica%0A%20%20%20%206.1%2C2.6%2C5.6%2C1.4%2Cvirginica%0A%20%20%20%207.7%2C3.0%2C6.1%2C2.3%2Cvirginica%0A%20%20%20%206.3%2C3.4%2C5.6%2C2.4%2Cvirginica%0A%20%20%20%206.4%2C3.1%2C5.5%2C1.8%2Cvirginica%0A%20%20%20%206.0%2C3.0%2C4.8%2C1.8%2Cvirginica%0A%20%20%20%206.9%2C3.1%2C5.4%2C2.1%2Cvirginica%0A%20%20%20%206.7%2C3.1%2C5.6%2C2.4%2Cvirginica%0A%20%20%20%206.9%2C3.1%2C5.1%2C2.3%2Cvirginica%0A%20%20%20%205.8%2C2.7%2C5.1%2C1.9%2Cvirginica%0A%20%20%20%206.8%2C3.2%2C5.9%2C2.3%2Cvirginica%0A%20%20%20%206.7%2C3.3%2C5.7%2C2.5%2Cvirginica%0A%20%20%20%206.7%2C3.0%2C5.2%2C2.3%2Cvirginica%0A%20%20%20%206.3%2C2.5%2C5.0%2C1.9%2Cvirginica%0A%20%20%20%206.5%2C3.0%2C5.2%2C2.0%2Cvirginica%0A%20%20%20%206.2%2C3.4%2C5.4%2C2.3%2Cvirginica%0A%20%20%20%205.9%2C3.0%2C5.1%2C1.8%2Cvirginica%22%22%22%0A%0A%20%20%20%20FEATURES%20%3D%20%5B%22sepal_length%22%2C%20%22sepal_width%22%2C%20%22petal_length%22%2C%20%22petal_width%22%5D%0A%20%20%20%20FEATURE_LABELS%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22sepal_length%22%3A%20%22sepal%20length%20(cm)%22%2C%0A%20%20%20%20%20%20%20%20%22sepal_width%22%3A%20%22sepal%20width%20(cm)%22%2C%0A%20%20%20%20%20%20%20%20%22petal_length%22%3A%20%22petal%20length%20(cm)%22%2C%0A%20%20%20%20%20%20%20%20%22petal_width%22%3A%20%22petal%20width%20(cm)%22%2C%0A%20%20%20%20%7D%0A%20%20%20%20CLASSES%20%3D%20%5B%22setosa%22%2C%20%22versicolor%22%2C%20%22virginica%22%5D%0A%20%20%20%20CLASS_COLORS%20%3D%20%7B%22setosa%22%3A%20%22%231f77b4%22%2C%20%22versicolor%22%3A%20%22%23ff7f0e%22%2C%20%22virginica%22%3A%20%22%232ca02c%22%7D%0A%0A%20%20%20%20_raw%20%3D%20np.genfromtxt(%0A%20%20%20%20%20%20%20%20io.StringIO(IRIS_CSV.strip())%2C%0A%20%20%20%20%20%20%20%20delimiter%3D%22%2C%22%2C%0A%20%20%20%20%20%20%20%20names%3DTrue%2C%0A%20%20%20%20%20%20%20%20dtype%3DNone%2C%0A%20%20%20%20%20%20%20%20encoding%3D%22utf-8%22%2C%0A%20%20%20%20)%0A%20%20%20%20X%20%3D%20np.column_stack(%5B_raw%5B_f%5D%20for%20_f%20in%20FEATURES%5D).astype(float)%0A%20%20%20%20y%20%3D%20np.array(%5BCLASSES.index(str(_s))%20for%20_s%20in%20_raw%5B%22species%22%5D%5D)%0A%20%20%20%20return%20CLASSES%2C%20CLASS_COLORS%2C%20FEATURES%2C%20FEATURE_LABELS%2C%20X%2C%20y%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Maximum-Likelihood%20Classification%20%E2%80%94%20the%20Iris%20Flower%20Data%20Set%0A%0A%20%20%20%20Ronald%20Fisher's%201936%20*Iris*%20data%20set%20records%20four%20measurements%20%E2%80%94%20sepal%20length%2C%0A%20%20%20%20sepal%20width%2C%20petal%20length%20and%20petal%20width%20(in%20cm)%20%E2%80%94%20for%2050%20flowers%20from%20each%20of%0A%20%20%20%20three%20species.%20We%20use%20it%20to%20make%20estimation%20theory%20concrete%3A%0A%0A%20%20%20%20-%20the%20unknown%20**parameter**%20is%20the%20discrete%20class%20label%20(species)%0A%20%20%20%20%20%20%24C%20%5Cin%20%5C%7B%5Ctext%7Bsetosa%7D%2C%20%5Ctext%7Bversicolor%7D%2C%20%5Ctext%7Bvirginica%7D%5C%7D%24%20%E2%80%94%20our%20*estimand*%3B%0A%20%20%20%20-%20the%20**observation**%20is%20one%20or%20more%20measured%20features%20%24%5Cmathbf%7BX%7D%24%20of%20a%20flower%3B%0A%20%20%20%20-%20each%20species%20defines%20a%20**class-conditional%20density**%20%24f_%7BX%5Cmid%20C%7D(x%5Cmid%20c)%24%2C%0A%20%20%20%20%20%20the%20*likelihood*%20of%20the%20observation%20under%20that%20class.%0A%0A%20%20%20%20Given%20an%20observation%20%24x%24%2C%20the%20**maximum-likelihood%20(ML)%20decision**%20picks%20the%20class%0A%20%20%20%20whose%20density%20is%20largest%2C%0A%20%20%20%20%24%24%0A%20%20%20%20%5Cwidehat%7Bc%7D%20%5C%3B%3D%5C%3B%20%5Coperatorname%7Bargmax%7D_%7Bc%7D%5C%3B%20f_%7BX%5Cmid%20C%7D(x%5Cmid%20c).%0A%20%20%20%20%24%24%0A%20%20%20%20With%20equal%20priors%20this%20is%20exactly%20the%20ML%20decision%20rule%20from%20the%20detection%20section%3A%0A%20%20%20%20choose%20the%20hypothesis%20(here%2C%20the%20species)%20that%20makes%20the%20observed%20data%20most%20probable.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(CLASSES%2C%20CLASS_COLORS%2C%20mo)%3A%0A%20%20%20%20_imgs%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22setosa%22%3A%20%22images%2Firis_setosa.jpg%22%2C%0A%20%20%20%20%20%20%20%20%22versicolor%22%3A%20%22images%2Firis_versicolor.jpg%22%2C%0A%20%20%20%20%20%20%20%20%22virginica%22%3A%20%22images%2Firis_virginica.jpg%22%2C%0A%20%20%20%20%7D%0A%20%20%20%20_cards%20%3D%20%22%22.join(%0A%20%20%20%20%20%20%20%20f%22%22%22%3Cfigure%20style%3D%22margin%3A0%3Bflex%3A1%3Btext-align%3Acenter%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cimg%20src%3D%22%7B_imgs%5B_c%5D%7D%22%20alt%3D%22Iris%20%7B_c%7D%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20style%3D%22width%3A100%25%3Bmax-width%3A240px%3Bborder-radius%3A8px%3Bborder%3A3px%20solid%20%7BCLASS_COLORS%5B_c%5D%7D%22%2F%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cfigcaption%20style%3D%22margin-top%3A6px%3Bfont-weight%3A600%3Bcolor%3A%7BCLASS_COLORS%5B_c%5D%7D%22%3EIris%20%7B_c%7D%3C%2Ffigcaption%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Ffigure%3E%22%22%22%0A%20%20%20%20%20%20%20%20for%20_c%20in%20CLASSES%0A%20%20%20%20)%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20f%22%22%22%3Cdiv%20style%3D%22display%3Aflex%3Bgap%3A16px%3Bjustify-content%3Acenter%3Balign-items%3Aflex-start%22%3E%7B_cards%7D%3C%2Fdiv%3E%0A%0A%20%20%20%20%20%20%20%20%3Cp%20style%3D%22text-align%3Acenter%3Bfont-size%3A0.8em%3Bcolor%3A%23666%22%3EPhotos%3A%20Wikimedia%20Commons.%3C%2Fp%3E%0A%0A%20%20%20%20%20%20%20%20We%20summarize%20each%20species%20by%20a%20**smooth%20distribution%20of%20its%20feature%20values**%0A%20%20%20%20%20%20%20%20(estimated%20from%20the%2050%20samples)%20and%20treat%20it%20as%20the%20class-conditional%20density%0A%20%20%20%20%20%20%20%20%24f_%7B%7BX%5C%5Cmid%20C%7D%7D(x%5C%5Cmid%20c)%24.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%201%20%C2%B7%20One%20feature%2C%20one%20measurement%0A%0A%20%20%20%20Pick%20a%20single%20feature.%20The%20three%20curves%20are%20the%20class-conditional%20densities%0A%20%20%20%20%24f_%7BX%5Cmid%20C%7D(x%5Cmid%20c)%24.%20Move%20the%20**observation**%20slider%3A%20the%20dashed%20line%20marks%20the%0A%20%20%20%20measured%20value%20%24x%24%2C%20the%20dots%20mark%20each%20likelihood%20%24f_%7BX%5Cmid%20C%7D(x%5Cmid%20c)%24%2C%20and%20the%20ML%0A%20%20%20%20rule%20selects%20the%20class%20with%20the%20tallest%20density%20at%20%24x%24.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(FEATURES%2C%20mo)%3A%0A%20%20%20%20feat_a%20%3D%20mo.ui.dropdown(options%3DFEATURES%2C%20value%3D%22petal_length%22%2C%20label%3D%22Feature%22)%0A%20%20%20%20return%20(feat_a%2C)%0A%0A%0A%40app.cell%0Adef%20_(FEATURES%2C%20X%2C%20feat_a%2C%20mo%2C%20np)%3A%0A%20%20%20%20_j%20%3D%20FEATURES.index(feat_a.value)%0A%20%20%20%20_col%20%3D%20X%5B%3A%2C%20_j%5D%0A%20%20%20%20_lo%20%3D%20float(np.floor(_col.min()%20*%202)%20%2F%202)%0A%20%20%20%20_hi%20%3D%20float(np.ceil(_col.max()%20*%202)%20%2F%202)%0A%20%20%20%20obs_a%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D_lo%2C%0A%20%20%20%20%20%20%20%20stop%3D_hi%2C%0A%20%20%20%20%20%20%20%20step%3D0.05%2C%0A%20%20%20%20%20%20%20%20value%3Dround((_lo%20%2B%20_hi)%20%2F%202%2C%202)%2C%0A%20%20%20%20%20%20%20%20label%3D%22Observation%20x%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(obs_a%2C)%0A%0A%0A%40app.cell%0Adef%20_(FEATURES%2C%20X%2C%20feat_a%2C%20gaussian_kde%2C%20np%2C%20y)%3A%0A%20%20%20%20j_a%20%3D%20FEATURES.index(feat_a.value)%0A%20%20%20%20kdes_a%20%3D%20%5Bgaussian_kde(X%5By%20%3D%3D%20_i%2C%20j_a%5D)%20for%20_i%20in%20range(3)%5D%0A%20%20%20%20xgrid_a%20%3D%20np.linspace(X%5B%3A%2C%20j_a%5D.min()%20-%200.5%2C%20X%5B%3A%2C%20j_a%5D.max()%20%2B%200.5%2C%20400)%0A%20%20%20%20return%20kdes_a%2C%20xgrid_a%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20CLASSES%2C%0A%20%20%20%20CLASS_COLORS%2C%0A%20%20%20%20FEATURE_LABELS%2C%0A%20%20%20%20feat_a%2C%0A%20%20%20%20kdes_a%2C%0A%20%20%20%20np%2C%0A%20%20%20%20obs_a%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20xgrid_a%2C%0A)%3A%0A%20%20%20%20_x%20%3D%20obs_a.value%0A%20%20%20%20_liks%20%3D%20np.array(%5Bfloat(_k(_x)%5B0%5D)%20for%20_k%20in%20kdes_a%5D)%0A%20%20%20%20_dec%20%3D%20int(np.argmax(_liks))%0A%0A%20%20%20%20fig_a%2C%20(_axd%2C%20_axb)%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(13%2C%204.6))%0A%20%20%20%20for%20_i%2C%20_c%20in%20enumerate(CLASSES)%3A%0A%20%20%20%20%20%20%20%20_yy%20%3D%20kdes_a%5B_i%5D(xgrid_a)%0A%20%20%20%20%20%20%20%20_axd.plot(xgrid_a%2C%20_yy%2C%20color%3DCLASS_COLORS%5B_c%5D%2C%20lw%3D2%2C%20label%3D_c)%0A%20%20%20%20%20%20%20%20_axd.fill_between(xgrid_a%2C%20_yy%2C%20color%3DCLASS_COLORS%5B_c%5D%2C%20alpha%3D0.12)%0A%20%20%20%20%20%20%20%20_axd.plot(%5B_x%5D%2C%20%5B_liks%5B_i%5D%5D%2C%20%22o%22%2C%20color%3DCLASS_COLORS%5B_c%5D%2C%20ms%3D9%2C%20mec%3D%22black%22%2C%20zorder%3D5)%0A%20%20%20%20_axd.axvline(_x%2C%20color%3D%22black%22%2C%20ls%3D%22--%22%2C%20lw%3D1.5)%0A%20%20%20%20_axd.set_title(r%22Class-conditional%20densities%20%20%24f_%7BX%5Cmid%20C%7D(x%5Cmid%20c)%24%22%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20_axd.set_xlabel(FEATURE_LABELS%5Bfeat_a.value%5D)%0A%20%20%20%20_axd.set_ylabel(%22density%22)%0A%20%20%20%20_axd.legend()%0A%20%20%20%20_axd.grid(alpha%3D0.3)%0A%0A%20%20%20%20_bars%20%3D%20_axb.bar(%0A%20%20%20%20%20%20%20%20CLASSES%2C%20_liks%2C%20color%3D%5BCLASS_COLORS%5B_c%5D%20for%20_c%20in%20CLASSES%5D%2C%20edgecolor%3D%22black%22%2C%20alpha%3D0.55%0A%20%20%20%20)%0A%20%20%20%20_bars%5B_dec%5D.set_alpha(1.0)%0A%20%20%20%20_bars%5B_dec%5D.set_linewidth(2.5)%0A%20%20%20%20_axb.set_title(%22Likelihood%20of%20each%20class%20at%20%24x%24%22%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20_axb.set_ylabel(r%22%24f_%7BX%5Cmid%20C%7D(x%5Cmid%20c)%24%22)%0A%20%20%20%20_axb.grid(alpha%3D0.3%2C%20axis%3D%22y%22)%0A%20%20%20%20plt.tight_layout()%0A%0A%20%20%20%20note_a%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Observation%20%24%5C%5Cmathbf%7B%7Bx%7D%7D%3D%7B_x%3A.2f%7D%24.%20%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20%22%2C%20%22.join(f%22%24f(%5C%5Cmathbf%7B%7Bx%7D%7D%5C%5Cmid%5C%5Ctext%7B%7B%7B_c%7D%7D%7D)%3D%7B_liks%5B_i%5D%3A.3f%7D%24%22%20for%20_i%2C%20_c%20in%20enumerate(CLASSES))%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20f%22.%20%20ML%20decision%3A%20**%7BCLASSES%5B_dec%5D%7D**.%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20return%20fig_a%2C%20note_a%0A%0A%0A%40app.cell%0Adef%20_(feat_a%2C%20fig_a%2C%20mo%2C%20note_a%2C%20obs_a)%3A%0A%20%20%20%20mo.vstack(%5Bmo.hstack(%5Bfeat_a%2C%20obs_a%5D)%2C%20mo.mpl.interactive(fig_a)%2C%20mo.md(note_a)%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%202%20%C2%B7%20Two%20features%0A%0A%20%20%20%20With%20two%20features%20the%20likelihood%20is%20a%202-D%20density%20%24f_%7B%5Cmathbf%7BX%7D%5Cmid%20C%7D(%5Cmathbf%7Bx%7D%5Cmid%20c)%24.%0A%20%20%20%20The%20plane%20splits%20into%20**ML%20decision%20regions**%20%E2%80%94%20at%20every%20point%20we%20choose%20the%20class%0A%20%20%20%20with%20the%20largest%20density.%20Move%20the%20observation%20%24%5Cmathbf%7Bx%7D%3D(x_1%2C%20x_2)%24%20and%20watch%0A%20%20%20%20which%20region%20it%20lands%20in.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(FEATURES%2C%20mo)%3A%0A%20%20%20%20featx_b%20%3D%20mo.ui.dropdown(options%3DFEATURES%2C%20value%3D%22petal_length%22%2C%20label%3D%22x-axis%20feature%22)%0A%20%20%20%20featy_b%20%3D%20mo.ui.dropdown(options%3DFEATURES%2C%20value%3D%22petal_width%22%2C%20label%3D%22y-axis%20feature%22)%0A%20%20%20%20return%20featx_b%2C%20featy_b%0A%0A%0A%40app.cell%0Adef%20_(FEATURES%2C%20X%2C%20featx_b%2C%20featy_b%2C%20mo%2C%20np)%3A%0A%20%20%20%20_cx%20%3D%20X%5B%3A%2C%20FEATURES.index(featx_b.value)%5D%0A%20%20%20%20_cy%20%3D%20X%5B%3A%2C%20FEATURES.index(featy_b.value)%5D%0A%20%20%20%20obsx_b%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3Dfloat(np.floor(_cx.min()))%2C%0A%20%20%20%20%20%20%20%20stop%3Dfloat(np.ceil(_cx.max()))%2C%0A%20%20%20%20%20%20%20%20step%3D0.05%2C%0A%20%20%20%20%20%20%20%20value%3Dround(float(_cx.mean())%2C%202)%2C%0A%20%20%20%20%20%20%20%20label%3D%22x%E2%82%81%20(x-feature)%22%2C%0A%20%20%20%20)%0A%20%20%20%20obsy_b%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3Dfloat(np.floor(_cy.min()))%2C%0A%20%20%20%20%20%20%20%20stop%3Dfloat(np.ceil(_cy.max()))%2C%0A%20%20%20%20%20%20%20%20step%3D0.05%2C%0A%20%20%20%20%20%20%20%20value%3Dround(float(_cy.mean())%2C%202)%2C%0A%20%20%20%20%20%20%20%20label%3D%22x%E2%82%82%20(y-feature)%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20obsx_b%2C%20obsy_b%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20CLASSES%2C%0A%20%20%20%20CLASS_COLORS%2C%0A%20%20%20%20FEATURES%2C%0A%20%20%20%20FEATURE_LABELS%2C%0A%20%20%20%20Line2D%2C%0A%20%20%20%20Patch%2C%0A%20%20%20%20X%2C%0A%20%20%20%20featx_b%2C%0A%20%20%20%20featy_b%2C%0A%20%20%20%20gaussian_kde%2C%0A%20%20%20%20np%2C%0A%20%20%20%20obsx_b%2C%0A%20%20%20%20obsy_b%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20y%2C%0A)%3A%0A%20%20%20%20jx_b%20%3D%20FEATURES.index(featx_b.value)%0A%20%20%20%20jy_b%20%3D%20FEATURES.index(featy_b.value)%0A%0A%20%20%20%20fig_b%2C%20_ax%20%3D%20plt.subplots(figsize%3D(7.8%2C%206.4))%0A%20%20%20%20if%20jx_b%20%3D%3D%20jy_b%3A%0A%20%20%20%20%20%20%20%20_ax.text(0.5%2C%200.5%2C%20%22Pick%20two%20different%20features%22%2C%20ha%3D%22center%22%2C%20va%3D%22center%22%2C%20fontsize%3D15)%0A%20%20%20%20%20%20%20%20_ax.axis(%22off%22)%0A%20%20%20%20%20%20%20%20note_b%20%3D%20%22Select%20two%20**different**%20features%20to%20see%20a%202-D%20decision%20map.%22%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_kdes%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20gaussian_kde(np.vstack(%5BX%5By%20%3D%3D%20_i%2C%20jx_b%5D%2C%20X%5By%20%3D%3D%20_i%2C%20jy_b%5D%5D))%20for%20_i%20in%20range(3)%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20_gx%20%3D%20np.linspace(X%5B%3A%2C%20jx_b%5D.min()%20-%200.5%2C%20X%5B%3A%2C%20jx_b%5D.max()%20%2B%200.5%2C%20160)%0A%20%20%20%20%20%20%20%20_gy%20%3D%20np.linspace(X%5B%3A%2C%20jy_b%5D.min()%20-%200.4%2C%20X%5B%3A%2C%20jy_b%5D.max()%20%2B%200.4%2C%20160)%0A%20%20%20%20%20%20%20%20_GX%2C%20_GY%20%3D%20np.meshgrid(_gx%2C%20_gy)%0A%20%20%20%20%20%20%20%20_pts%20%3D%20np.vstack(%5B_GX.ravel()%2C%20_GY.ravel()%5D)%0A%20%20%20%20%20%20%20%20_dens%20%3D%20np.stack(%5B_k(_pts).reshape(_GX.shape)%20for%20_k%20in%20_kdes%5D)%0A%20%20%20%20%20%20%20%20_region%20%3D%20np.argmax(_dens%2C%20axis%3D0)%0A%0A%20%20%20%20%20%20%20%20_ax.contourf(%0A%20%20%20%20%20%20%20%20%20%20%20%20_GX%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_GY%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_region%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20levels%3D%5B-0.5%2C%200.5%2C%201.5%2C%202.5%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20colors%3D%5BCLASS_COLORS%5B_c%5D%20for%20_c%20in%20CLASSES%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20alpha%3D0.18%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20for%20_i%2C%20_c%20in%20enumerate(CLASSES)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_ax.contour(_GX%2C%20_GY%2C%20_dens%5B_i%5D%2C%20levels%3D5%2C%20colors%3DCLASS_COLORS%5B_c%5D%2C%20linewidths%3D1%2C%20alpha%3D0.7)%0A%0A%20%20%20%20%20%20%20%20_px%2C%20_py%20%3D%20obsx_b.value%2C%20obsy_b.value%0A%20%20%20%20%20%20%20%20_liks%20%3D%20np.array(%5Bfloat(_k(np.array(%5B%5B_px%5D%2C%20%5B_py%5D%5D))%5B0%5D)%20for%20_k%20in%20_kdes%5D)%0A%20%20%20%20%20%20%20%20_dec%20%3D%20int(np.argmax(_liks))%0A%20%20%20%20%20%20%20%20_ax.plot(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B_px%5D%2C%20%5B_py%5D%2C%20marker%3D%22*%22%2C%20ms%3D22%2C%20mfc%3D%22yellow%22%2C%20mec%3D%22black%22%2C%20mew%3D1.5%2C%20zorder%3D6%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20_handles%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5BPatch(facecolor%3DCLASS_COLORS%5B_c%5D%2C%20alpha%3D0.45%2C%20label%3D_c)%20for%20_c%20in%20CLASSES%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20%5BLine2D(%5B0%5D%2C%20%5B0%5D%2C%20marker%3D%22*%22%2C%20color%3D%22w%22%2C%20mfc%3D%22yellow%22%2C%20mec%3D%22black%22%2C%20ms%3D15%2C%20label%3D%22observation%22)%5D%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_ax.legend(handles%3D_handles%2C%20loc%3D%22best%22%2C%20fontsize%3D9)%0A%20%20%20%20%20%20%20%20_ax.set_xlabel(FEATURE_LABELS%5Bfeatx_b.value%5D)%0A%20%20%20%20%20%20%20%20_ax.set_ylabel(FEATURE_LABELS%5Bfeaty_b.value%5D)%0A%20%20%20%20%20%20%20%20_ax.set_title(r%22ML%20decision%20regions%20%20%24%5Cmathrm%7Barg%5C%2Cmax%7D_c%20f_%7B%5Cmathbf%7BX%7D%5Cmid%20C%7D(%5Cmathbf%7Bx%7D%5Cmid%20c)%24%22%2C%20fontweight%3D%22bold%22)%0A%0A%20%20%20%20%20%20%20%20note_b%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Observation%20%24%5C%5Cmathbf%7B%7Bx%7D%7D%3D(%7B_px%3A.2f%7D%2C%5C%5C%2C%7B_py%3A.2f%7D)%24.%20%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20%22%2C%20%22.join(f%22%24f(%5C%5Cmathbf%7B%7Bx%7D%7D%5C%5Cmid%5C%5Ctext%7B%7B%7B_c%7D%7D%7D)%3D%7B_liks%5B_i%5D%3A.3f%7D%24%22%20for%20_i%2C%20_c%20in%20enumerate(CLASSES))%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20f%22.%20%20ML%20decision%3A%20**%7BCLASSES%5B_dec%5D%7D**.%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20plt.tight_layout()%0A%20%20%20%20return%20fig_b%2C%20note_b%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20CLASSES%2C%0A%20%20%20%20CLASS_COLORS%2C%0A%20%20%20%20FEATURES%2C%0A%20%20%20%20FEATURE_LABELS%2C%0A%20%20%20%20X%2C%0A%20%20%20%20featx_b%2C%0A%20%20%20%20featy_b%2C%0A%20%20%20%20gaussian_kde%2C%0A%20%20%20%20np%2C%0A%20%20%20%20y%2C%0A)%3A%0A%20%20%20%20import%20plotly.graph_objects%20as%20go%0A%0A%20%20%20%20jx_3d%20%3D%20FEATURES.index(featx_b.value)%0A%20%20%20%20jy_3d%20%3D%20FEATURES.index(featy_b.value)%0A%0A%20%20%20%20if%20jx_3d%20%3D%3D%20jy_3d%3A%0A%20%20%20%20%20%20%20%20fig_b3d%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20fig_b3d.add_annotation(text%3D%22Pick%20two%20different%20features%22%2C%20showarrow%3DFalse%2C%20font_size%3D16)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_kdes3d%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20gaussian_kde(np.vstack(%5BX%5By%20%3D%3D%20_i%2C%20jx_3d%5D%2C%20X%5By%20%3D%3D%20_i%2C%20jy_3d%5D%5D))%20for%20_i%20in%20range(3)%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20_gx3d%20%3D%20np.linspace(X%5B%3A%2C%20jx_3d%5D.min()%20-%200.3%2C%20X%5B%3A%2C%20jx_3d%5D.max()%20%2B%200.3%2C%2060)%0A%20%20%20%20%20%20%20%20_gy3d%20%3D%20np.linspace(X%5B%3A%2C%20jy_3d%5D.min()%20-%200.3%2C%20X%5B%3A%2C%20jy_3d%5D.max()%20%2B%200.3%2C%2060)%0A%20%20%20%20%20%20%20%20_GX3d%2C%20_GY3d%20%3D%20np.meshgrid(_gx3d%2C%20_gy3d)%0A%20%20%20%20%20%20%20%20_pts3d%20%3D%20np.vstack(%5B_GX3d.ravel()%2C%20_GY3d.ravel()%5D)%0A%0A%20%20%20%20%20%20%20%20_traces%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20for%20_i%2C%20_c%20in%20enumerate(CLASSES)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_Z%20%3D%20_kdes3d%5B_i%5D(_pts3d).reshape(_GX3d.shape)%0A%20%20%20%20%20%20%20%20%20%20%20%20_hex%20%3D%20CLASS_COLORS%5B_c%5D.lstrip(%22%23%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20_r%2C%20_g%2C%20_b%20%3D%20int(_hex%5B0%3A2%5D%2C%2016)%2C%20int(_hex%5B2%3A4%5D%2C%2016)%2C%20int(_hex%5B4%3A6%5D%2C%2016)%0A%20%20%20%20%20%20%20%20%20%20%20%20_colorscale%20%3D%20%5B%5B0%2C%20f%22rgba(%7B_r%7D%2C%7B_g%7D%2C%7B_b%7D%2C0)%22%5D%2C%20%5B1%2C%20f%22rgba(%7B_r%7D%2C%7B_g%7D%2C%7B_b%7D%2C0.75)%22%5D%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20_traces.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20go.Surface(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3D_gx3d%2C%20y%3D_gy3d%2C%20z%3D_Z%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20colorscale%3D_colorscale%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20showscale%3DFalse%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3D_c%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20opacity%3D0.7%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20fig_b3d%20%3D%20go.Figure(data%3D_traces)%0A%20%20%20%20%20%20%20%20fig_b3d.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20title%3Ddict(text%3D%22Likelihood%20landscapes%20%20f(x%20%7C%20c)%22%2C%20font_size%3D14)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20scene%3Ddict(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20xaxis_title%3DFEATURE_LABELS%5Bfeatx_b.value%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20yaxis_title%3DFEATURE_LABELS%5Bfeaty_b.value%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20zaxis_title%3D%22density%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20legend%3Ddict(x%3D0.01%2C%20y%3D0.99)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(l%3D0%2C%20r%3D0%2C%20t%3D40%2C%20b%3D0)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D520%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20return%20(fig_b3d%2C)%0A%0A%0A%40app.cell%0Adef%20_(featx_b%2C%20featy_b%2C%20fig_b%2C%20mo%2C%20note_b%2C%20obsx_b%2C%20obsy_b)%3A%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Bfeatx_b%2C%20featy_b%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Bobsx_b%2C%20obsy_b%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.mpl.interactive(fig_b)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(note_b)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(fig_b3d)%3A%0A%20%20%20%20fig_b3d%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%203%20%C2%B7%20One%20feature%2C%20many%20measurements%0A%0A%20%20%20%20Now%20suppose%20we%20pick%20several%20flowers%20from%20the%20**same%20plant**%20(same%20species)%20and%0A%20%20%20%20measure%20one%20feature%20on%20each%2C%20giving%20%24x_1%2C%20%5Cdots%2C%20x_N%24.%20Assuming%20the%20measurements%20are%0A%20%20%20%20independent%20given%20the%20species%2C%20the%20log-likelihood%20**adds%20up**%3A%0A%20%20%20%20%24%24%0A%20%20%20%20%5Clog%20f_%7B%5Cmathbf%7BX%7D%5Cmid%20C%7D(%5Cmathbf%7Bx%7D%5Cmid%20c)%0A%20%20%20%20%3D%20%5Csum_%7Bi%3D1%7D%5E%7BN%7D%20%5Clog%20f_%7BX%5Cmid%20C%7D(x_i%5Cmid%20c).%0A%20%20%20%20%24%24%0A%20%20%20%20Dividing%20by%20%24N%24%20gives%20the%20**normalized%20(averaged)%20log-likelihood**%2C%20an%20empirical%0A%20%20%20%20average%20that%20%E2%80%94%20by%20the%20law%20of%20large%20numbers%20%E2%80%94%20converges%20to%20its%20expectation%2C%20which%20is%0A%20%20%20%20largest%20at%20the%20*true*%20species.%20So%20as%20%24N%24%20grows%20the%20correct%20class%20wins%20and%20the%0A%20%20%20%20decision%20becomes%20reliable%2C%20even%20when%20a%20single%20flower%20would%20be%20ambiguous.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(CLASSES%2C%20FEATURES%2C%20mo)%3A%0A%20%20%20%20feat_c%20%3D%20mo.ui.dropdown(options%3DFEATURES%2C%20value%3D%22petal_length%22%2C%20label%3D%22Feature%22)%0A%20%20%20%20trueclass_c%20%3D%20mo.ui.dropdown(options%3DCLASSES%2C%20value%3D%22versicolor%22%2C%20label%3D%22Plant's%20true%20species%22)%0A%20%20%20%20N_c%20%3D%20mo.ui.slider(start%3D1%2C%20stop%3D30%2C%20step%3D1%2C%20value%3D8%2C%20label%3D%22Number%20of%20flowers%20N%22)%0A%20%20%20%20seed_c%20%3D%20mo.ui.slider(start%3D0%2C%20stop%3D200%2C%20step%3D1%2C%20value%3D3%2C%20label%3D%22Random%20seed%22)%0A%20%20%20%20return%20N_c%2C%20feat_c%2C%20seed_c%2C%20trueclass_c%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20CLASSES%2C%0A%20%20%20%20FEATURES%2C%0A%20%20%20%20N_c%2C%0A%20%20%20%20X%2C%0A%20%20%20%20feat_c%2C%0A%20%20%20%20gaussian_kde%2C%0A%20%20%20%20np%2C%0A%20%20%20%20seed_c%2C%0A%20%20%20%20trueclass_c%2C%0A%20%20%20%20y%2C%0A)%3A%0A%20%20%20%20j_c%20%3D%20FEATURES.index(feat_c.value)%0A%20%20%20%20kdes_c%20%3D%20%5Bgaussian_kde(X%5By%20%3D%3D%20_i%2C%20j_c%5D)%20for%20_i%20in%20range(3)%5D%0A%20%20%20%20true_c%20%3D%20CLASSES.index(trueclass_c.value)%0A%20%20%20%20samples_c%20%3D%20kdes_c%5Btrue_c%5D.resample(int(N_c.value)%2C%20seed%3Dint(seed_c.value)).ravel()%0A%0A%20%20%20%20_eps%20%3D%201e-12%0A%20%20%20%20loglik_c%20%3D%20np.array(%5Bnp.log(np.clip(kdes_c%5B_i%5D(samples_c)%2C%20_eps%2C%20None))%20for%20_i%20in%20range(3)%5D)%0A%20%20%20%20running_c%20%3D%20np.cumsum(loglik_c%2C%20axis%3D1)%20%2F%20np.arange(1%2C%20int(N_c.value)%20%2B%201)%0A%20%20%20%20normll_c%20%3D%20loglik_c.mean(axis%3D1)%0A%20%20%20%20dec_c%20%3D%20int(np.argmax(normll_c))%0A%20%20%20%20return%20dec_c%2C%20j_c%2C%20kdes_c%2C%20normll_c%2C%20running_c%2C%20samples_c%2C%20true_c%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20CLASSES%2C%0A%20%20%20%20CLASS_COLORS%2C%0A%20%20%20%20FEATURE_LABELS%2C%0A%20%20%20%20X%2C%0A%20%20%20%20dec_c%2C%0A%20%20%20%20feat_c%2C%0A%20%20%20%20j_c%2C%0A%20%20%20%20kdes_c%2C%0A%20%20%20%20normll_c%2C%0A%20%20%20%20np%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20running_c%2C%0A%20%20%20%20samples_c%2C%0A%20%20%20%20true_c%2C%0A)%3A%0A%20%20%20%20fig_c%2C%20(_axd%2C%20_axr)%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(14%2C%205))%0A%0A%20%20%20%20_xg%20%3D%20np.linspace(X%5B%3A%2C%20j_c%5D.min()%20-%200.5%2C%20X%5B%3A%2C%20j_c%5D.max()%20%2B%200.5%2C%20400)%0A%20%20%20%20for%20_i%2C%20_c%20in%20enumerate(CLASSES)%3A%0A%20%20%20%20%20%20%20%20_yy%20%3D%20kdes_c%5B_i%5D(_xg)%0A%20%20%20%20%20%20%20%20_axd.plot(_xg%2C%20_yy%2C%20color%3DCLASS_COLORS%5B_c%5D%2C%20lw%3D2%2C%20label%3D_c)%0A%20%20%20%20%20%20%20%20_axd.fill_between(_xg%2C%20_yy%2C%20color%3DCLASS_COLORS%5B_c%5D%2C%20alpha%3D0.10)%0A%20%20%20%20_ytop%20%3D%20_axd.get_ylim()%5B1%5D%0A%20%20%20%20for%20_s%20in%20samples_c%3A%0A%20%20%20%20%20%20%20%20_axd.plot(%5B_s%2C%20_s%5D%2C%20%5B0%2C%200.06%20*%20_ytop%5D%2C%20color%3DCLASS_COLORS%5BCLASSES%5Btrue_c%5D%5D%2C%20lw%3D1.3%2C%20alpha%3D0.85)%0A%20%20%20%20_axd.set_title(f%22N%20%3D%20%7Blen(samples_c)%7D%20measurements%20from%20a%20%7BCLASSES%5Btrue_c%5D%7D%20plant%22%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20_axd.set_xlabel(FEATURE_LABELS%5Bfeat_c.value%5D)%0A%20%20%20%20_axd.set_ylabel(%22density%22)%0A%20%20%20%20_axd.legend()%0A%20%20%20%20_axd.grid(alpha%3D0.3)%0A%0A%20%20%20%20_n%20%3D%20np.arange(1%2C%20running_c.shape%5B1%5D%20%2B%201)%0A%20%20%20%20for%20_i%2C%20_c%20in%20enumerate(CLASSES)%3A%0A%20%20%20%20%20%20%20%20_axr.plot(_n%2C%20running_c%5B_i%5D%2C%20color%3DCLASS_COLORS%5B_c%5D%2C%20lw%3D2%2C%20marker%3D%22o%22%2C%20ms%3D3%2C%20label%3D_c)%0A%20%20%20%20_order%20%3D%20np.argsort(normll_c)%5B%3A%3A-1%5D%0A%20%20%20%20_top2%20%3D%20_order%5B%3A2%5D%0A%20%20%20%20_axr.set_ylim(float(np.min(running_c%5B_top2%5D))%20-%200.4%2C%20float(np.max(running_c))%20%2B%200.3)%0A%20%20%20%20_axr.set_title(%0A%20%20%20%20%20%20%20%20r%22Averaged%20log-likelihood%20%20%24%5Cfrac%7B1%7D%7Bn%7D%5Csum_%7Bi%3D1%7D%5E%7Bn%7D%5Clog%20f_%7BX%5Cmid%20C%7D(x_i%5Cmid%20c)%24%22%2C%0A%20%20%20%20%20%20%20%20fontweight%3D%22bold%22%2C%0A%20%20%20%20)%0A%20%20%20%20_axr.set_xlabel(%22number%20of%20measurements%20n%22)%0A%20%20%20%20_axr.set_ylabel(%22normalized%20log-likelihood%22)%0A%20%20%20%20_axr.legend()%0A%20%20%20%20_axr.grid(alpha%3D0.3)%0A%20%20%20%20plt.tight_layout()%0A%0A%20%20%20%20_match%20%3D%20%22%E2%9C%93%20correct%22%20if%20dec_c%20%3D%3D%20true_c%20else%20%22%E2%9C%97%20wrong%22%0A%20%20%20%20note_c%20%3D%20(%0A%20%20%20%20%20%20%20%20%22Normalized%20log-likelihoods%3A%20%22%0A%20%20%20%20%20%20%20%20%2B%20%22%2C%20%22.join(f%22%24%5C%5Coverline%7B%7B%5C%5Cell%7D%7D_%5C%5Ctext%7B%7B%7B_c%7D%7D%7D%3D%7Bnormll_c%5B_i%5D%3A.2f%7D%24%22%20for%20_i%2C%20_c%20in%20enumerate(CLASSES))%0A%20%20%20%20%20%20%20%20%2B%20f%22.%20%20ML%20decision%3A%20**%7BCLASSES%5Bdec_c%5D%7D**%20(true%20species%3A%20%7BCLASSES%5Btrue_c%5D%7D%2C%20%7B_match%7D).%22%0A%20%20%20%20)%0A%20%20%20%20return%20fig_c%2C%20note_c%0A%0A%0A%40app.cell%0Adef%20_(N_c%2C%20feat_c%2C%20fig_c%2C%20mo%2C%20note_c%2C%20seed_c%2C%20trueclass_c)%3A%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Bfeat_c%2C%20trueclass_c%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5BN_c%2C%20seed_c%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.mpl.interactive(fig_c)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(note_c)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%204%20%C2%B7%20MAP%20classification%20with%20unequal%20priors%0A%0A%20%20%20%20ML%20treats%20all%20classes%20as%20equally%20likely%20*a%20priori*.%20%20**Maximum%20A%20Posteriori%20(MAP)**%0A%20%20%20%20classification%20incorporates%20a%20prior%20probability%20%24%5Cmathbb%7BP%7D(C%20%3D%20c)%24%20for%20each%20class.%0A%20%20%20%20By%20Bayes'%20theorem%2C%0A%20%20%20%20%24%24%0A%20%20%20%20%5Cmathbb%7BP%7D(C%20%3D%20c%20%5Cmid%20X%20%3D%20x)%20%5C%3B%5Cpropto%5C%3B%20%5Cmathbb%7BP%7D(C%3Dc)%20%5Ccdot%20f_%7BX%5Cmid%20C%7D(x%5Cmid%20c)%2C%0A%20%20%20%20%24%24%0A%20%20%20%20so%20the%20MAP%20rule%20picks%20the%20class%20with%20the%20largest%20*prior-weighted*%20likelihood%3A%0A%20%20%20%20%24%24%0A%20%20%20%20%5Cwidehat%7Bc%7D_%7B%5Ctext%7BMAP%7D%7D%0A%20%20%20%20%5C%3B%3D%5C%3B%20%5Coperatorname%7Bargmax%7D_%7Bc%7D%5C%3B%20%5Cmathbb%7BP%7D(C%3Dc)%20%5Ccdot%20f_%7BX%5Cmid%20C%7D(x%5Cmid%20c)%0A%20%20%20%20%5C%3B%3D%5C%3B%20%5Coperatorname%7Bargmax%7D_%7Bc%7D%5Cbigl%5B%5Clog%5Cmathbb%7BP%7D(C%3Dc)%20%2B%20%5Clog%20f_%7BX%5Cmid%20C%7D(x%5Cmid%20c)%5Cbigr%5D.%0A%20%20%20%20%24%24%0A%20%20%20%20A%20class%20with%20small%20%24%5Cmathbb%7BP%7D(C%3Dc)%24%20requires%20proportionally%20**stronger%20likelihood%20evidence**%0A%20%20%20%20to%20win%20the%20decision%20%E2%80%94%20the%20prior%20shifts%20the%20decision%20boundary%20away%20from%20rare%20classes.%0A%0A%20%20%20%20**Are%20unequal%20priors%20realistic%20for%20Iris%3F**%20%20The%20Fisher%20dataset%20uses%20exactly%2050%20flowers%20per%0A%20%20%20%20species%20%E2%80%94%20a%20curated%2C%20balanced%20sample%2C%20not%20a%20field%20survey.%20%20As%20a%20rough%20proxy%20for%20relative%0A%20%20%20%20field%20abundance%2C%20iNaturalist%20research-grade%20observations%20for%20these%20species%20in%20North%20America%0A%20%20%20%20record%20roughly%20twice%20as%20many%20*versicolor*%20and%20*virginica*%20sightings%20as%20*setosa*%20(which%20has%0A%20%20%20%20a%20primarily%20subarctic%2Fcircumboreal%20range%2C%20while%20*versicolor*%20and%20*virginica*%20overlap%20broadly%0A%20%20%20%20in%20eastern%20North%20American%20wetlands).%20%20Plausible%20default%20priors%3A%0A%20%20%20%20%24%5Cmathbb%7BP%7D(C%3D%5Ctext%7Bsetosa%7D)%5Capprox%200.15%24%2C%20%24%5Cmathbb%7BP%7D(C%3D%5Ctext%7Bversicolor%7D)%5Capprox%200.50%24%2C%0A%20%20%20%20%24%5Cmathbb%7BP%7D(C%3D%5Ctext%7Bvirginica%7D)%5Capprox%200.35%24%20%E2%80%94%20though%20iNaturalist%20counts%20reflect%20observer%0A%20%20%20%20effort%20as%20much%20as%20true%20abundance.%20%20Use%20the%20sliders%20to%20explore%20any%20prior.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20prior_setosa%20%3D%20mo.ui.slider(start%3D0.05%2C%20stop%3D1.0%2C%20step%3D0.05%2C%20value%3D0.15%2C%20label%3D%22setosa%20weight%22)%0A%20%20%20%20prior_versicolor%20%3D%20mo.ui.slider(start%3D0.05%2C%20stop%3D1.0%2C%20step%3D0.05%2C%20value%3D0.50%2C%20label%3D%22versicolor%20weight%22)%0A%20%20%20%20prior_virginica%20%3D%20mo.ui.slider(start%3D0.05%2C%20stop%3D1.0%2C%20step%3D0.05%2C%20value%3D0.35%2C%20label%3D%22virginica%20weight%22)%0A%20%20%20%20return%20prior_setosa%2C%20prior_versicolor%2C%20prior_virginica%0A%0A%0A%40app.cell%0Adef%20_(np%2C%20prior_setosa%2C%20prior_versicolor%2C%20prior_virginica)%3A%0A%20%20%20%20_w%20%3D%20np.array(%5Bprior_setosa.value%2C%20prior_versicolor.value%2C%20prior_virginica.value%5D)%0A%20%20%20%20priors_d%20%3D%20_w%20%2F%20_w.sum()%0A%20%20%20%20return%20(priors_d%2C)%0A%0A%0A%40app.cell%0Adef%20_(FEATURES%2C%20mo)%3A%0A%20%20%20%20feat_d%20%3D%20mo.ui.dropdown(options%3DFEATURES%2C%20value%3D%22petal_length%22%2C%20label%3D%22Feature%22)%0A%20%20%20%20return%20(feat_d%2C)%0A%0A%0A%40app.cell%0Adef%20_(FEATURES%2C%20X%2C%20feat_d%2C%20mo%2C%20np)%3A%0A%20%20%20%20_j%20%3D%20FEATURES.index(feat_d.value)%0A%20%20%20%20_col%20%3D%20X%5B%3A%2C%20_j%5D%0A%20%20%20%20_lo%20%3D%20float(np.floor(_col.min()%20*%202)%20%2F%202)%0A%20%20%20%20_hi%20%3D%20float(np.ceil(_col.max()%20*%202)%20%2F%202)%0A%20%20%20%20obs_d%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D_lo%2C%20stop%3D_hi%2C%20step%3D0.05%2C%0A%20%20%20%20%20%20%20%20value%3Dround((_lo%20%2B%20_hi)%20%2F%202%2C%202)%2C%0A%20%20%20%20%20%20%20%20label%3D%22Observation%20x%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(obs_d%2C)%0A%0A%0A%40app.cell%0Adef%20_(FEATURES%2C%20X%2C%20feat_d%2C%20gaussian_kde%2C%20np%2C%20y)%3A%0A%20%20%20%20j_d%20%3D%20FEATURES.index(feat_d.value)%0A%20%20%20%20kdes_d%20%3D%20%5Bgaussian_kde(X%5By%20%3D%3D%20_i%2C%20j_d%5D)%20for%20_i%20in%20range(3)%5D%0A%20%20%20%20xgrid_d%20%3D%20np.linspace(X%5B%3A%2C%20j_d%5D.min()%20-%200.5%2C%20X%5B%3A%2C%20j_d%5D.max()%20%2B%200.5%2C%20400)%0A%20%20%20%20return%20kdes_d%2C%20xgrid_d%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20CLASSES%2C%0A%20%20%20%20CLASS_COLORS%2C%0A%20%20%20%20FEATURE_LABELS%2C%0A%20%20%20%20feat_d%2C%0A%20%20%20%20kdes_d%2C%0A%20%20%20%20np%2C%0A%20%20%20%20obs_d%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20priors_d%2C%0A%20%20%20%20xgrid_d%2C%0A)%3A%0A%20%20%20%20_x%20%3D%20obs_d.value%0A%20%20%20%20_liks%20%3D%20np.array(%5Bfloat(_k(_x)%5B0%5D)%20for%20_k%20in%20kdes_d%5D)%0A%20%20%20%20_post_unnorm%20%3D%20priors_d%20*%20_liks%0A%20%20%20%20_posteriors_norm%20%3D%20_post_unnorm%20%2F%20_post_unnorm.sum()%0A%20%20%20%20_dec_ml%20%3D%20int(np.argmax(_liks))%0A%20%20%20%20_dec_map%20%3D%20int(np.argmax(_post_unnorm))%0A%0A%20%20%20%20fig_d%2C%20(_axl%2C%20_axp)%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(13%2C%204.6))%0A%0A%20%20%20%20for%20_i%2C%20_c%20in%20enumerate(CLASSES)%3A%0A%20%20%20%20%20%20%20%20_lik_curve%20%3D%20kdes_d%5B_i%5D(xgrid_d)%0A%20%20%20%20%20%20%20%20_post_curve%20%3D%20priors_d%5B_i%5D%20*%20_lik_curve%0A%20%20%20%20%20%20%20%20_axl.plot(xgrid_d%2C%20_lik_curve%2C%20color%3DCLASS_COLORS%5B_c%5D%2C%20lw%3D1.5%2C%20ls%3D%22--%22%2C%20alpha%3D0.45)%0A%20%20%20%20%20%20%20%20_axl.plot(xgrid_d%2C%20_post_curve%2C%20color%3DCLASS_COLORS%5B_c%5D%2C%20lw%3D2.5%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3Df%22%7B_c%7D%20%20(%24%5C%5Cmathbb%7B%7BP%7D%7D%24%3D%7Bpriors_d%5B_i%5D%3A.2f%7D)%22)%0A%20%20%20%20%20%20%20%20_axl.fill_between(xgrid_d%2C%20_post_curve%2C%20color%3DCLASS_COLORS%5B_c%5D%2C%20alpha%3D0.12)%0A%20%20%20%20%20%20%20%20_axl.plot(%5B_x%5D%2C%20%5Bpriors_d%5B_i%5D%20*%20_liks%5B_i%5D%5D%2C%20%22o%22%2C%20color%3DCLASS_COLORS%5B_c%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ms%3D9%2C%20mec%3D%22black%22%2C%20zorder%3D5)%0A%20%20%20%20_axl.axvline(_x%2C%20color%3D%22black%22%2C%20ls%3D%22--%22%2C%20lw%3D1.5)%0A%20%20%20%20_axl.set_title(%0A%20%20%20%20%20%20%20%20r%22Unnormalised%20posterior%20%24%5Cmathbb%7BP%7D(C%3Dc)%20%5Ccdot%20f_%7BX%5Cmid%20C%7D(x%5Cmid%20c)%24%20%20(solid)%22%0A%20%20%20%20%20%20%20%20%22%5Cnvs%20likelihood%20(dashed)%22%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20_axl.set_xlabel(FEATURE_LABELS%5Bfeat_d.value%5D)%0A%20%20%20%20_axl.set_ylabel(%22unnormalised%20posterior%22)%0A%20%20%20%20_axl.legend()%0A%20%20%20%20_axl.grid(alpha%3D0.3)%0A%0A%20%20%20%20_bars%20%3D%20_axp.bar(%0A%20%20%20%20%20%20%20%20CLASSES%2C%20_posteriors_norm%2C%0A%20%20%20%20%20%20%20%20color%3D%5BCLASS_COLORS%5B_c%5D%20for%20_c%20in%20CLASSES%5D%2C%20edgecolor%3D%22black%22%2C%20alpha%3D0.55%2C%0A%20%20%20%20)%0A%20%20%20%20_bars%5B_dec_map%5D.set_alpha(1.0)%0A%20%20%20%20_bars%5B_dec_map%5D.set_linewidth(2.5)%0A%20%20%20%20_axp.set_title(r%22Normalised%20posterior%20%24%5Cmathbb%7BP%7D(C%3Dc%5Cmid%20x)%24%22%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20_axp.set_ylabel(%22posterior%20probability%22)%0A%20%20%20%20_axp.set_ylim(0%2C%201)%0A%20%20%20%20_axp.grid(alpha%3D0.3%2C%20axis%3D%22y%22)%0A%20%20%20%20plt.tight_layout()%0A%0A%20%20%20%20_changed%20%3D%20%22%20*(differs%20from%20ML!)*%22%20if%20_dec_ml%20!%3D%20_dec_map%20else%20%22%20*(same%20as%20ML)*%22%0A%20%20%20%20note_d%20%3D%20(%0A%20%20%20%20%20%20%20%20%22Priors%3A%20%22%0A%20%20%20%20%20%20%20%20%2B%20%22%2C%20%22.join(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%24%5C%5Cmathbb%7B%7BP%7D%7D(C%3D%5C%5Ctext%7B%7B%7B_c%7D%7D%7D)%3D%7Bpriors_d%5B_i%5D%3A.2f%7D%24%22%20for%20_i%2C%20_c%20in%20enumerate(CLASSES)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%2B%20%22.%20%20Posteriors%3A%20%22%0A%20%20%20%20%20%20%20%20%2B%20%22%2C%20%22.join(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%24%5C%5Cmathbb%7B%7BP%7D%7D(C%3D%7B_c%7D%5C%5Cmid%20x)%3D%7B_posteriors_norm%5B_i%5D%3A.3f%7D%24%22%20for%20_i%2C%20_c%20in%20enumerate(CLASSES)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%2B%20f%22.%20%20MAP%20decision%3A%20**%7BCLASSES%5B_dec_map%5D%7D**%7B_changed%7D.%22%0A%20%20%20%20)%0A%20%20%20%20return%20fig_d%2C%20note_d%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20feat_d%2C%0A%20%20%20%20fig_d%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20note_d%2C%0A%20%20%20%20obs_d%2C%0A%20%20%20%20prior_setosa%2C%0A%20%20%20%20prior_versicolor%2C%0A%20%20%20%20prior_virginica%2C%0A)%3A%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.hstack(%5Bprior_setosa%2C%20prior_versicolor%2C%20prior_virginica%5D)%2C%0A%20%20%20%20%20%20%20%20mo.hstack(%5Bfeat_d%2C%20obs_d%5D)%2C%0A%20%20%20%20%20%20%20%20mo.mpl.interactive(fig_d)%2C%0A%20%20%20%20%20%20%20%20mo.md(note_d)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Key%20takeaways%0A%0A%20%20%20%201.%20**Classification%20is%20estimation.**%20The%20species%20label%20is%20the%20parameter%3B%20the%0A%20%20%20%20%20%20%20class-conditional%20density%20%24f_%7BX%5Cmid%20C%7D(x%5Cmid%20c)%24%20is%20the%20likelihood%3B%20the%20ML%20rule%0A%20%20%20%20%20%20%20picks%20the%20most%20likely%20class%2C%20%24%5Cwidehat%7Bc%7D%20%3D%20%5Cmathrm%7Barg%5C%2Cmax%7D_c%20f_%7BX%5Cmid%20C%7D(x%5Cmid%20c)%24.%0A%0A%20%20%20%202.%20**More%20features%20sharpen%20the%20boundary.**%20A%20single%20feature%20already%20separates%0A%20%20%20%20%20%20%20*setosa*%20perfectly%2C%20but%20*versicolor*%20and%20*virginica*%20overlap%3B%20a%20second%20feature%0A%20%20%20%20%20%20%20carves%20cleaner%20decision%20regions%20in%20the%20plane.%0A%0A%20%20%20%203.%20**More%20measurements%20average%20out%20the%20noise.**%20For%20%24N%24%20independent%20flowers%20from%20the%0A%20%20%20%20%20%20%20same%20plant%2C%20the%20log-likelihood%20becomes%20a%20sum%2C%20and%20the%20normalized%20log-likelihood%20is%0A%20%20%20%20%20%20%20an%20empirical%20average.%20By%20the%20law%20of%20large%20numbers%20it%20concentrates%20at%20the%20true%0A%20%20%20%20%20%20%20species%2C%20so%20the%20ML%20decision%20becomes%20consistent%20as%20%24N%24%20grows.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A