burglary alarm np roc interactive

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.11%22%0A%23%20dependencies%20%3D%20%5B%22marimo%3E%3D0.23.9%22%2C%20%22matplotlib%3D%3D3.10.8%22%2C%20%22numpy%3D%3D2.4.3%22%2C%20%22scipy%3D%3D1.17.1%22%5D%0A%23%20%0A%23%20%5Btool.marimo.export%5D%0A%23%20lock_kind%20%3D%20%22resolved%22%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.23.13%22%0Aapp%20%3D%20marimo.App()%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20from%20scipy.stats%20import%20expon%2C%20norm%0A%0A%20%20%20%20plt.style.use(%22default%22)%0A%0A%20%20%20%20C_H0%20%3D%20%22%232563eb%22%0A%20%20%20%20C_H1%20%3D%20%22%23dc2626%22%0A%20%20%20%20C_NP%20%3D%20%22%23111827%22%0A%20%20%20%20C_REGION%20%3D%20%22%23f97316%22%0A%20%20%20%20C_ROC%20%3D%20%22%2316a34a%22%0A%20%20%20%20return%20C_H0%2C%20C_H1%2C%20C_NP%2C%20C_REGION%2C%20C_ROC%2C%20expon%2C%20mo%2C%20norm%2C%20np%2C%20plt%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Neyman--Pearson%2C%20Decision%20Regions%2C%20and%20the%20ROC%3A%20Burglary%20Alarm%0A%0A%20%20%20%20A%20home%20alarm%20reduces%20its%20sensors%20to%20a%20scalar%20**alarm%20score**%20%24X%24.%0A%0A%20%20%20%20%24%24%0A%20%20%20%20H_0%3A%5Ctext%7Bno%20burglary%7D%20%5Cqquad%5Ctext%7Bvs.%7D%5Cqquad%20H_1%3A%5Ctext%7Bburglary%7D.%0A%20%20%20%20%24%24%0A%0A%20%20%20%20A%20decision%20rule%20%24%5Cdelta%24%20partitions%20the%20score%20axis%20into%20**decision%20regions**%0A%20%20%20%20%24%24%0A%20%20%20%20%5Cmathcal%7BX%7D_1%3D%5C%7Bx%3A%5Cdelta(x)%3D1%5C%7D%5C%20(%5Ctext%7Bdecide%20%7DH_1)%2C%0A%20%20%20%20%5Cqquad%0A%20%20%20%20%5Cmathcal%7BX%7D_0%3D%5C%7Bx%3A%5Cdelta(x)%3D0%5C%7D%2C%0A%20%20%20%20%24%24%0A%20%20%20%20with%20performance%20quantities%0A%20%20%20%20%24%24%0A%20%20%20%20P_F%3D%5Cmathbb%7BP%7D(%5Cwidehat%20H%3DH_1%5Cmid%20H_0)%2C%5Cqquad%0A%20%20%20%20P_D%3D%5Cmathbb%7BP%7D(%5Cwidehat%20H%3DH_1%5Cmid%20H_1)%2C%5Cqquad%0A%20%20%20%20P_M%3D1-P_D.%0A%20%20%20%20%24%24%0A%0A%20%20%20%20The%20Neyman--Pearson%20rule%20fixes%20%24P_F%5Cle%5Calpha%24%20and%20maximizes%20%24P_D%24.%20The%20optimum%0A%20%20%20%20is%20the%20**likelihood-ratio%20test**%20with%20the%20ratio%20as%20test%20statistic%2C%0A%20%20%20%20%24%24%0A%20%20%20%20%5CLambda(x)%3D%5Cfrac%7Bf_%7BX%5Cmid%20H_1%7D(x)%7D%7Bf_%7BX%5Cmid%20H_0%7D(x)%7D%0A%20%20%20%20%5C%3B%5Cunderset%7BH_0%7D%7B%5Coverset%7BH_1%7D%7B%5Cgtrless%7D%7D%5C%3B%5Ceta%2C%0A%20%20%20%20%5Cqquad%20%5Ceta%5C%20%5Ctext%7Bset%20so%20that%7D%5C%20P_F%3D%5Calpha%2C%0A%20%20%20%20%24%24%0A%20%20%20%20so%20that%20%24%5Cmathcal%7BX%7D_1%3D%5C%7Bx%3A%5CLambda(x)%3E%5Ceta%5C%7D%24.%20**Only%20when%20%24%5CLambda%24%20is%20monotone%0A%20%20%20%20is%20this%20a%20single%20threshold%20on%20%24x%24.**%20In%20general%20the%20region%20can%20be%20the%20*outside*%0A%20%20%20%20of%20an%20interval%2C%20or%20a%20*union%20of%20disjoint%20pieces*.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%3Cfigure%20style%3D%22margin%3A0%20auto%201rem%20auto%3Bmax-width%3A720px%3Btext-align%3Acenter%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cimg%20src%3D%22images%2Fhome_intruder_alarm_wikimedia.jpg%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt%3D%22Home%20intruder%20alarm%20system%20keypad%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20style%3D%22width%3A100%25%3Bmax-height%3A320px%3Bobject-fit%3Acover%3Bborder-radius%3A8px%3Bborder%3A1px%20solid%20%23ddd%22%2F%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cfigcaption%20style%3D%22margin-top%3A6px%3Bfont-size%3A0.82em%3Bcolor%3A%23666%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20Home%20intruder%20alarm%20system.%20Photo%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ca%20href%3D%22https%3A%2F%2Fcommons.wikimedia.org%2Fwiki%2FFile%3AHome_Intruder_Alarm_system.JPG%22%3EWikimedia%20Commons%3C%2Fa%3E.%0A%20%20%20%20%20%20%20%20%20%20%3C%2Ffigcaption%3E%0A%20%20%20%20%20%20%20%20%3C%2Ffigure%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%201.%20Score%20model%20and%20decision%20region%0A%0A%20%20%20%20Choose%20a%20scenario%20for%20the%20class-conditional%20densities%0A%20%20%20%20%24f_%7BX%5Cmid%20H_0%7D%24%20and%20%24f_%7BX%5Cmid%20H_1%7D%24.%20The%20shaded%20band%20is%20the%20NP%20decision%20region%0A%20%20%20%20%24%5Cmathcal%7BX%7D_1%3D%5C%7Bx%3A%5CLambda(x)%3E%5Ceta%5C%7D%24%3B%20the%20lower%20panel%20shows%20the%20likelihood%0A%20%20%20%20ratio%20(the%20test%20statistic)%20together%20with%20the%20level%20%24%5Ceta%24.%20Watch%20how%20the%20shape%0A%20%20%20%20of%20%24%5Cmathcal%7BX%7D_1%24%20changes%20with%20the%20scenario%20---%20a%20single%20threshold%20is%20the%0A%20%20%20%20exception%2C%20not%20the%20rule.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20scenario%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Gaussian%20%E2%80%94%20shift%20in%20mean%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Exponential%20%E2%80%94%20energy%20reading%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Gaussian%20%E2%80%94%20shift%20in%20spread%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Bimodal%20alternative%20%E2%80%94%20two%20signatures%22%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Gaussian%20%E2%80%94%20shift%20in%20mean%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22score%20scenario%22%2C%0A%20%20%20%20)%0A%20%20%20%20alpha_alarm%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D0.005%2C%0A%20%20%20%20%20%20%20%20stop%3D0.30%2C%0A%20%20%20%20%20%20%20%20step%3D0.005%2C%0A%20%20%20%20%20%20%20%20value%3D0.05%2C%0A%20%20%20%20%20%20%20%20label%3D%22false-alarm%20constraint%20alpha%22%2C%0A%20%20%20%20)%0A%20%20%20%20sep_alarm%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D0.3%2C%0A%20%20%20%20%20%20%20%20stop%3D4.0%2C%0A%20%20%20%20%20%20%20%20step%3D0.1%2C%0A%20%20%20%20%20%20%20%20value%3D2.0%2C%0A%20%20%20%20%20%20%20%20label%3D%22effect%20size%20%2F%20separation%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20alpha_alarm%2C%20scenario%2C%20sep_alarm%0A%0A%0A%40app.cell%0Adef%20_(alpha_alarm%2C%20expon%2C%20norm%2C%20np%2C%20scenario%2C%20sep_alarm)%3A%0A%20%20%20%20_name%20%3D%20scenario.value%0A%20%20%20%20alpha%20%3D%20float(alpha_alarm.value)%0A%20%20%20%20_sep%20%3D%20float(sep_alarm.value)%0A%0A%20%20%20%20if%20%22shift%20in%20mean%22%20in%20_name%3A%0A%20%20%20%20%20%20%20%20_d0%20%3D%20norm(0.0%2C%201.0)%0A%20%20%20%20%20%20%20%20_d1%20%3D%20norm(_sep%2C%201.0)%0A%20%20%20%20%20%20%20%20_f0_fn%20%3D%20_d0.pdf%0A%20%20%20%20%20%20%20%20_f1_fn%20%3D%20_d1.pdf%0A%20%20%20%20%20%20%20%20logf0_fn%20%3D%20_d0.logpdf%0A%20%20%20%20%20%20%20%20logf1_fn%20%3D%20_d1.logpdf%0A%20%20%20%20%20%20%20%20samp0_fn%20%3D%20lambda%20rng%2C%20n%3A%20rng.normal(0.0%2C%201.0%2C%20n)%0A%20%20%20%20%20%20%20%20samp1_fn%20%3D%20lambda%20rng%2C%20n%3A%20rng.normal(_sep%2C%201.0%2C%20n)%0A%20%20%20%20%20%20%20%20_xlo%2C%20_xhi%20%3D%20-4.5%2C%20_sep%20%2B%204.5%0A%20%20%20%20%20%20%20%20score_label%20%3D%20%22alarm%20score%20x%22%0A%20%20%20%20%20%20%20%20model_md%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20rf%22%24X%5Cmid%20H_0%5Csim%5Cmathcal%7B%7BN%7D%7D(0%2C1)%24%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20rf%22%24X%5Cmid%20H_1%5Csim%5Cmathcal%7B%7BN%7D%7D(%7B_sep%3A.2f%7D%2C1)%24.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20r%22Equal%20variance%20%24%5CRightarrow%24%20monotone%20%24%5CLambda%24%2C%20so%20%24%5Cmathcal%7BX%7D_1%24%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20r%22is%20a%20single%20half-line%20%24x%3Et%24%20---%20the%20classic%20threshold%20test.%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20elif%20%22Exponential%22%20in%20_name%3A%0A%20%20%20%20%20%20%20%20_s0%2C%20_s1%20%3D%201.0%2C%201.0%20%2B%20_sep%0A%20%20%20%20%20%20%20%20_d0%20%3D%20expon(scale%3D_s0)%0A%20%20%20%20%20%20%20%20_d1%20%3D%20expon(scale%3D_s1)%0A%20%20%20%20%20%20%20%20_f0_fn%20%3D%20_d0.pdf%0A%20%20%20%20%20%20%20%20_f1_fn%20%3D%20_d1.pdf%0A%20%20%20%20%20%20%20%20logf0_fn%20%3D%20_d0.logpdf%0A%20%20%20%20%20%20%20%20logf1_fn%20%3D%20_d1.logpdf%0A%20%20%20%20%20%20%20%20samp0_fn%20%3D%20lambda%20rng%2C%20n%3A%20rng.exponential(_s0%2C%20n)%0A%20%20%20%20%20%20%20%20samp1_fn%20%3D%20lambda%20rng%2C%20n%3A%20rng.exponential(_s1%2C%20n)%0A%20%20%20%20%20%20%20%20_xlo%2C%20_xhi%20%3D%200.0%2C%20_s1%20*%206.0%0A%20%20%20%20%20%20%20%20score_label%20%3D%20r%22energy%20reading%20%24x%20%5Cgeq%200%24%22%0A%20%20%20%20%20%20%20%20model_md%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20rf%22%24X%5Cmid%20H_0%5Csim%5Cmathrm%7B%7BExp%7D%7D(%5Ctext%7B%7Bmean%20%7D%7D1)%24%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20rf%22%24X%5Cmid%20H_1%5Csim%5Cmathrm%7B%7BExp%7D%7D(%5Ctext%7B%7Bmean%20%7D%7D%7B_s1%3A.2f%7D)%24.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20r%22A%20non-negative%20energy%20score%3B%20%24%5CLambda%24%20is%20still%20monotone%20(half-line)%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20r%22but%20the%20ROC%20is%20a%20power%20law%2C%20*not*%20the%20symmetric%20Gaussian%20shape.%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20elif%20%22spread%22%20in%20_name%3A%0A%20%20%20%20%20%20%20%20_sg0%2C%20_sg1%20%3D%201.0%2C%201.0%20%2B%20_sep%0A%20%20%20%20%20%20%20%20_d0%20%3D%20norm(0.0%2C%20_sg0)%0A%20%20%20%20%20%20%20%20_d1%20%3D%20norm(0.0%2C%20_sg1)%0A%20%20%20%20%20%20%20%20_f0_fn%20%3D%20_d0.pdf%0A%20%20%20%20%20%20%20%20_f1_fn%20%3D%20_d1.pdf%0A%20%20%20%20%20%20%20%20logf0_fn%20%3D%20_d0.logpdf%0A%20%20%20%20%20%20%20%20logf1_fn%20%3D%20_d1.logpdf%0A%20%20%20%20%20%20%20%20samp0_fn%20%3D%20lambda%20rng%2C%20n%3A%20rng.normal(0.0%2C%20_sg0%2C%20n)%0A%20%20%20%20%20%20%20%20samp1_fn%20%3D%20lambda%20rng%2C%20n%3A%20rng.normal(0.0%2C%20_sg1%2C%20n)%0A%20%20%20%20%20%20%20%20_xlo%2C%20_xhi%20%3D%20-_sg1%20*%204.5%2C%20_sg1%20*%204.5%0A%20%20%20%20%20%20%20%20score_label%20%3D%20%22alarm%20score%20x%22%0A%20%20%20%20%20%20%20%20model_md%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20rf%22%24X%5Cmid%20H_0%5Csim%5Cmathcal%7B%7BN%7D%7D(0%2C1)%24%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20rf%22%24X%5Cmid%20H_1%5Csim%5Cmathcal%7B%7BN%7D%7D(0%2C%7B_sg1%3A.2f%7D%5E2)%24%20(same%20mean%2C%20larger%20spread).%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20r%22%24%5CLambda%24%20is%20U-shaped%20%24%5CRightarrow%24%20%24%5Cmathcal%7BX%7D_1%24%20is%20the%20*outside*%20of%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20r%22an%20interval%20%24%7Cx%7C%3Ec%24%20---%20a%20single%20one-sided%20threshold%20fails.%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_c%20%3D%201.5%20%2B%200.5%20*%20_sep%0A%20%20%20%20%20%20%20%20_sl%20%3D%200.6%0A%20%20%20%20%20%20%20%20_d0%20%3D%20norm(0.0%2C%201.0)%0A%20%20%20%20%20%20%20%20_da%20%3D%20norm(-_c%2C%20_sl)%0A%20%20%20%20%20%20%20%20_db%20%3D%20norm(_c%2C%20_sl)%0A%20%20%20%20%20%20%20%20_f0_fn%20%3D%20_d0.pdf%0A%0A%20%20%20%20%20%20%20%20def%20_f1_fn(x)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%200.5%20*%20_da.pdf(x)%20%2B%200.5%20*%20_db.pdf(x)%0A%0A%20%20%20%20%20%20%20%20logf0_fn%20%3D%20_d0.logpdf%0A%0A%20%20%20%20%20%20%20%20def%20logf1_fn(x)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20np.logaddexp(_da.logpdf(x)%2C%20_db.logpdf(x))%20-%20np.log(2.0)%0A%0A%20%20%20%20%20%20%20%20samp0_fn%20%3D%20lambda%20rng%2C%20n%3A%20rng.normal(0.0%2C%201.0%2C%20n)%0A%0A%20%20%20%20%20%20%20%20def%20samp1_fn(rng%2C%20n)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_pick%20%3D%20rng.integers(0%2C%202%2C%20n)%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20np.where(_pick%20%3D%3D%200%2C%20rng.normal(-_c%2C%20_sl%2C%20n)%2C%20rng.normal(_c%2C%20_sl%2C%20n))%0A%0A%20%20%20%20%20%20%20%20_xlo%2C%20_xhi%20%3D%20-(_c%20%2B%204.0)%2C%20_c%20%2B%204.0%0A%20%20%20%20%20%20%20%20score_label%20%3D%20%22alarm%20score%20x%22%0A%20%20%20%20%20%20%20%20model_md%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20rf%22%24X%5Cmid%20H_0%5Csim%5Cmathcal%7B%7BN%7D%7D(0%2C1)%24%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20rf%22%24X%5Cmid%20H_1%3D%5Ctfrac12%5Cmathcal%7B%7BN%7D%7D(-%7B_c%3A.2f%7D%2C0.6%5E2)%2B%5Ctfrac12%5Cmathcal%7B%7BN%7D%7D(%7B_c%3A.2f%7D%2C0.6%5E2)%24.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20r%22Two%20distinct%20intrusion%20signatures%20%24%5CRightarrow%24%20%24%5Cmathcal%7BX%7D_1%24%20is%20a%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20r%22*union%20of%20two%20disjoint%20intervals*.%22%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20xs%20%3D%20np.linspace(_xlo%2C%20_xhi%2C%201500)%0A%20%20%20%20dx%20%3D%20xs%5B1%5D%20-%20xs%5B0%5D%0A%20%20%20%20f0s%20%3D%20_f0_fn(xs)%0A%20%20%20%20f1s%20%3D%20_f1_fn(xs)%0A%20%20%20%20loglr%20%3D%20logf1_fn(xs)%20-%20logf0_fn(xs)%0A%0A%20%20%20%20%23%20Neyman--Pearson%20by%20ordering%20the%20score%20axis%20by%20decreasing%20likelihood%20ratio%3A%0A%20%20%20%20%23%20admit%20points%20(into%20X1)%20highest-LR%20first%20until%20the%20false-alarm%20budget%20alpha%0A%20%20%20%20%23%20is%20spent.%20This%20builds%20the%20optimal%20region%20and%20the%20optimal%20ROC%20at%20once.%0A%20%20%20%20_order%20%3D%20np.argsort(loglr)%5B%3A%3A-1%5D%0A%20%20%20%20_pf_sorted%20%3D%20np.cumsum(f0s%5B_order%5D)%20*%20dx%0A%20%20%20%20_pd_sorted%20%3D%20np.cumsum(f1s%5B_order%5D)%20*%20dx%0A%20%20%20%20_idx%20%3D%20min(int(np.searchsorted(_pf_sorted%2C%20alpha))%2C%20len(loglr)%20-%201)%0A%20%20%20%20log_eta%20%3D%20float(loglr%5B_order%5D%5B_idx%5D)%0A%20%20%20%20eta%20%3D%20float(np.exp(log_eta))%0A%0A%20%20%20%20region%20%3D%20loglr%20%3E%3D%20log_eta%0A%20%20%20%20pf%20%3D%20float(f0s%5Bregion%5D.sum()%20*%20dx)%0A%20%20%20%20pd%20%3D%20float(f1s%5Bregion%5D.sum()%20*%20dx)%0A%20%20%20%20pm%20%3D%201.0%20-%20pd%0A%0A%20%20%20%20pf_roc%20%3D%20np.concatenate(%5B%5B0.0%5D%2C%20_pf_sorted%5D)%0A%20%20%20%20pd_roc%20%3D%20np.concatenate(%5B%5B0.0%5D%2C%20_pd_sorted%5D)%0A%0A%20%20%20%20lr_plot%20%3D%20np.exp(np.clip(loglr%2C%20-15.0%2C%2015.0))%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20alpha%2C%0A%20%20%20%20%20%20%20%20eta%2C%0A%20%20%20%20%20%20%20%20f0s%2C%0A%20%20%20%20%20%20%20%20f1s%2C%0A%20%20%20%20%20%20%20%20log_eta%2C%0A%20%20%20%20%20%20%20%20logf0_fn%2C%0A%20%20%20%20%20%20%20%20logf1_fn%2C%0A%20%20%20%20%20%20%20%20lr_plot%2C%0A%20%20%20%20%20%20%20%20model_md%2C%0A%20%20%20%20%20%20%20%20pd%2C%0A%20%20%20%20%20%20%20%20pd_roc%2C%0A%20%20%20%20%20%20%20%20pf%2C%0A%20%20%20%20%20%20%20%20pf_roc%2C%0A%20%20%20%20%20%20%20%20pm%2C%0A%20%20%20%20%20%20%20%20region%2C%0A%20%20%20%20%20%20%20%20samp0_fn%2C%0A%20%20%20%20%20%20%20%20samp1_fn%2C%0A%20%20%20%20%20%20%20%20score_label%2C%0A%20%20%20%20%20%20%20%20xs%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20C_H0%2C%0A%20%20%20%20C_H1%2C%0A%20%20%20%20C_NP%2C%0A%20%20%20%20C_REGION%2C%0A%20%20%20%20alpha%2C%0A%20%20%20%20alpha_alarm%2C%0A%20%20%20%20eta%2C%0A%20%20%20%20f0s%2C%0A%20%20%20%20f1s%2C%0A%20%20%20%20lr_plot%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20model_md%2C%0A%20%20%20%20pd%2C%0A%20%20%20%20pf%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20region%2C%0A%20%20%20%20scenario%2C%0A%20%20%20%20score_label%2C%0A%20%20%20%20sep_alarm%2C%0A%20%20%20%20xs%2C%0A)%3A%0A%20%20%20%20fig_pdf_alarm%2C%20(ax_alarm%2C%20ax_lr)%20%3D%20plt.subplots(%0A%20%20%20%20%20%20%20%202%2C%0A%20%20%20%20%20%20%20%201%2C%0A%20%20%20%20%20%20%20%20figsize%3D(9.2%2C%207.0)%2C%0A%20%20%20%20%20%20%20%20sharex%3DTrue%2C%0A%20%20%20%20%20%20%20%20gridspec_kw%3D%7B%22height_ratios%22%3A%20%5B3%2C%202%5D%7D%2C%0A%20%20%20%20)%0A%0A%20%20%20%20_ymax%20%3D%20float(max(f0s.max()%2C%20f1s.max()))%20*%201.18%0A%20%20%20%20ax_alarm.plot(xs%2C%20f0s%2C%20color%3DC_H0%2C%20lw%3D2.6%2C%20label%3Dr%22%24f_%7BX%5Cmid%20H_0%7D(x)%24%22)%0A%20%20%20%20ax_alarm.plot(xs%2C%20f1s%2C%20color%3DC_H1%2C%20lw%3D2.6%2C%20label%3Dr%22%24f_%7BX%5Cmid%20H_1%7D(x)%24%22)%0A%20%20%20%20ax_alarm.fill_between(%0A%20%20%20%20%20%20%20%20xs%2C%200%2C%20_ymax%2C%20where%3Dregion%2C%20color%3DC_REGION%2C%20alpha%3D0.13%2C%0A%20%20%20%20%20%20%20%20label%3Dr%22%24%5Cmathcal%7BX%7D_1%3D%5C%7Bx%3A%5CLambda(x)%3E%5Ceta%5C%7D%24%22%2C%0A%20%20%20%20)%0A%20%20%20%20ax_alarm.fill_between(xs%2C%200%2C%20f0s%2C%20where%3Dregion%2C%20color%3DC_H0%2C%20alpha%3D0.30)%0A%20%20%20%20ax_alarm.fill_between(xs%2C%200%2C%20f1s%2C%20where%3Dregion%2C%20color%3DC_H1%2C%20alpha%3D0.25)%0A%20%20%20%20ax_alarm.set_ylim(0%2C%20_ymax)%0A%20%20%20%20ax_alarm.set_title(%22Densities%20and%20NP%20decision%20region%22%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20ax_alarm.set_ylabel(%22density%22)%0A%20%20%20%20ax_alarm.grid(alpha%3D0.28)%0A%20%20%20%20ax_alarm.legend(loc%3D%22upper%20right%22%2C%20fontsize%3D9)%0A%20%20%20%20ax_alarm.spines%5B%5B%22top%22%2C%20%22right%22%5D%5D.set_visible(False)%0A%0A%20%20%20%20_lo%20%3D%20min(float(lr_plot.min())%2C%20eta)%20*%200.4%0A%20%20%20%20_hi%20%3D%20max(float(lr_plot.max())%2C%20eta)%20*%202.5%0A%20%20%20%20ax_lr.plot(xs%2C%20lr_plot%2C%20color%3DC_NP%2C%20lw%3D2.4%2C%20label%3Dr%22%24%5CLambda(x)%24%20(test%20statistic)%22)%0A%20%20%20%20ax_lr.axhline(eta%2C%20color%3DC_NP%2C%20lw%3D1.8%2C%20ls%3D%22--%22%2C%20label%3Drf%22%24%5Ceta%3D%7Beta%3A.3g%7D%24%22)%0A%20%20%20%20ax_lr.fill_between(xs%2C%20_lo%2C%20_hi%2C%20where%3Dregion%2C%20color%3DC_REGION%2C%20alpha%3D0.13)%0A%20%20%20%20ax_lr.set_yscale(%22log%22)%0A%20%20%20%20ax_lr.set_ylim(_lo%2C%20_hi)%0A%20%20%20%20ax_lr.set_title(%22Likelihood%20ratio%20(test%20statistic)%22%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20ax_lr.set_xlabel(score_label)%0A%20%20%20%20ax_lr.set_ylabel(r%22%24%5CLambda(x)%24%22)%0A%20%20%20%20ax_lr.set_xlim(float(xs.min())%2C%20float(xs.max()))%0A%20%20%20%20ax_lr.grid(alpha%3D0.28%2C%20which%3D%22both%22)%0A%20%20%20%20ax_lr.legend(loc%3D%22upper%20left%22%2C%20fontsize%3D9)%0A%20%20%20%20ax_lr.spines%5B%5B%22top%22%2C%20%22right%22%5D%5D.set_visible(False)%0A%20%20%20%20fig_pdf_alarm.tight_layout()%0A%0A%20%20%20%20_note%20%3D%20rf%22%22%22%0A%20%20%20%20**%7Bscenario.value%7D.**%20%7Bmodel_md%7D%0A%0A%20%20%20%20NP%20operating%20point%3A%20%24P_F%3D%7Bpf%3A.3f%7D%5Capprox%5Calpha%3D%7Balpha%3A.3f%7D%24%2C%0A%20%20%20%20%24P_D%3D%7Bpd%3A.3f%7D%24%2C%20with%20likelihood-ratio%20threshold%20%24%5Ceta%3D%7Beta%3A.3g%7D%24.%0A%20%20%20%20%22%22%22%0A%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Bscenario%2C%20alpha_alarm%2C%20sep_alarm%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.mpl.interactive(fig_pdf_alarm)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(_note)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%202.%20ROC%20and%20the%20NP%20operating%20point%0A%0A%20%20%20%20Sweeping%20the%20likelihood-ratio%20threshold%20%24%5Ceta%24%20traces%20the%20receiver%20operating%0A%20%20%20%20characteristic.%20Admitting%20score%20values%20into%20%24%5Cmathcal%7BX%7D_1%24%20in%20order%20of%0A%20%20%20%20*decreasing*%20%24%5CLambda(x)%24%20builds%20the%20optimal%20(concave)%20ROC%20directly%3A%0A%20%20%20%20%24%24%0A%20%20%20%20P_F(%5Ceta)%3D%5Cint_%7B%5C%7B%5CLambda%3E%5Ceta%5C%7D%7D%20f_%7BX%5Cmid%20H_0%7D(x)%5C%2Cdx%2C%0A%20%20%20%20%5Cqquad%0A%20%20%20%20P_D(%5Ceta)%3D%5Cint_%7B%5C%7B%5CLambda%3E%5Ceta%5C%7D%7D%20f_%7BX%5Cmid%20H_1%7D(x)%5C%2Cdx.%0A%20%20%20%20%24%24%0A%20%20%20%20The%20NP%20operating%20point%20is%20the%20place%20on%20this%20curve%20where%20%24P_F%3D%5Calpha%24.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(C_NP%2C%20C_ROC%2C%20alpha%2C%20eta%2C%20mo%2C%20pd%2C%20pd_roc%2C%20pf%2C%20pf_roc%2C%20plt%2C%20pm)%3A%0A%20%20%20%20fig_roc_alarm%2C%20ax_roc_alarm%20%3D%20plt.subplots(figsize%3D(6.8%2C%205.8))%0A%20%20%20%20ax_roc_alarm.plot(pf_roc%2C%20pd_roc%2C%20color%3DC_ROC%2C%20lw%3D3.0%2C%20label%3D%22LRT%20ROC%20(optimal)%22)%0A%20%20%20%20ax_roc_alarm.plot(%5B0%2C%201%5D%2C%20%5B0%2C%201%5D%2C%20color%3D%22%239ca3af%22%2C%20lw%3D1.4%2C%20ls%3D%22%3A%22%2C%20label%3D%22random%20guessing%22)%0A%20%20%20%20ax_roc_alarm.axvline(alpha%2C%20color%3DC_NP%2C%20lw%3D1.6%2C%20ls%3D%22--%22%2C%20label%3Drf%22%24P_F%3D%5Calpha%3D%7Balpha%3A.3f%7D%24%22)%0A%20%20%20%20ax_roc_alarm.scatter(%5Bpf%5D%2C%20%5Bpd%5D%2C%20s%3D90%2C%20color%3DC_NP%2C%20zorder%3D5%2C%20label%3D%22NP%20operating%20point%22)%0A%20%20%20%20ax_roc_alarm.set_title(%22ROC%20curve%22%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20ax_roc_alarm.set_xlabel(r%22false%20alarm%20probability%20%24P_F%24%22)%0A%20%20%20%20ax_roc_alarm.set_ylabel(r%22detection%20probability%20%24P_D%24%22)%0A%20%20%20%20ax_roc_alarm.set_xlim(-0.01%2C%201.01)%0A%20%20%20%20ax_roc_alarm.set_ylim(-0.01%2C%201.01)%0A%20%20%20%20ax_roc_alarm.grid(alpha%3D0.3)%0A%20%20%20%20ax_roc_alarm.legend(loc%3D%22lower%20right%22%2C%20fontsize%3D9)%0A%20%20%20%20ax_roc_alarm.spines%5B%5B%22top%22%2C%20%22right%22%5D%5D.set_visible(False)%0A%20%20%20%20fig_roc_alarm.tight_layout()%0A%0A%20%20%20%20_summary%20%3D%20rf%22%22%22%0A%20%20%20%20The%20ROC%20is%20generated%20by%20the%20likelihood-ratio%20test%20itself%2C%20so%20it%20is%20the%20best%0A%20%20%20%20achievable%20trade-off%20for%20this%20scenario.%20Its%20*shape*%20depends%20on%20the%20model%0A%20%20%20%20(symmetric%20for%20the%20Gaussian%20mean%20shift%2C%20a%20power%20law%20for%20the%20exponential)%2C%20but%0A%20%20%20%20the%20recipe%20is%20always%20the%20same.%20NP%20point%3A%20%24P_F%3D%7Bpf%3A.3f%7D%24%2C%20%24P_D%3D%7Bpd%3A.3f%7D%24%2C%0A%20%20%20%20%24P_M%3D%7Bpm%3A.3f%7D%24%2C%20%24%5Ceta%3D%7Beta%3A.3g%7D%24.%0A%20%20%20%20%22%22%22%0A%0A%20%20%20%20mo.vstack(%5Bmo.mpl.interactive(fig_roc_alarm)%2C%20mo.md(_summary)%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%203.%20Repeated%20alarms%0A%0A%20%20%20%20The%20probabilities%20above%20are%20conditional%20long-run%20frequencies.%20The%20simulation%0A%20%20%20%20below%20repeats%20many%20no-burglary%20and%20burglary%20situations%20and%20applies%20the%0A%20%20%20%20likelihood-ratio%20rule%20%24%5CLambda(x)%3E%5Ceta%24%20to%20each%20score.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20n_alarm_trials%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D100%2C%0A%20%20%20%20%20%20%20%20stop%3D10000%2C%0A%20%20%20%20%20%20%20%20step%3D100%2C%0A%20%20%20%20%20%20%20%20value%3D2000%2C%0A%20%20%20%20%20%20%20%20label%3D%22simulated%20cases%20per%20hypothesis%22%2C%0A%20%20%20%20)%0A%20%20%20%20seed_alarm%20%3D%20mo.ui.slider(start%3D0%2C%20stop%3D999%2C%20step%3D1%2C%20value%3D17%2C%20label%3D%22random%20seed%22)%0A%20%20%20%20return%20n_alarm_trials%2C%20seed_alarm%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20log_eta%2C%0A%20%20%20%20logf0_fn%2C%0A%20%20%20%20logf1_fn%2C%0A%20%20%20%20n_alarm_trials%2C%0A%20%20%20%20np%2C%0A%20%20%20%20samp0_fn%2C%0A%20%20%20%20samp1_fn%2C%0A%20%20%20%20seed_alarm%2C%0A)%3A%0A%20%20%20%20rng_alarm%20%3D%20np.random.default_rng(int(seed_alarm.value))%0A%20%20%20%20n_alarm%20%3D%20int(n_alarm_trials.value)%0A%20%20%20%20scores_h0%20%3D%20samp0_fn(rng_alarm%2C%20n_alarm)%0A%20%20%20%20scores_h1%20%3D%20samp1_fn(rng_alarm%2C%20n_alarm)%0A%0A%20%20%20%20_dec0%20%3D%20(logf1_fn(scores_h0)%20-%20logf0_fn(scores_h0))%20%3E%3D%20log_eta%0A%20%20%20%20_dec1%20%3D%20(logf1_fn(scores_h1)%20-%20logf0_fn(scores_h1))%20%3E%3D%20log_eta%0A%0A%20%20%20%20false_alarms%20%3D%20int(np.sum(_dec0))%0A%20%20%20%20correct_rejections%20%3D%20n_alarm%20-%20false_alarms%0A%20%20%20%20detections%20%3D%20int(np.sum(_dec1))%0A%20%20%20%20misses%20%3D%20n_alarm%20-%20detections%0A%0A%20%20%20%20sim_pf%20%3D%20false_alarms%20%2F%20n_alarm%0A%20%20%20%20sim_pd%20%3D%20detections%20%2F%20n_alarm%0A%20%20%20%20sim_pm%20%3D%20misses%20%2F%20n_alarm%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20correct_rejections%2C%0A%20%20%20%20%20%20%20%20detections%2C%0A%20%20%20%20%20%20%20%20false_alarms%2C%0A%20%20%20%20%20%20%20%20misses%2C%0A%20%20%20%20%20%20%20%20n_alarm%2C%0A%20%20%20%20%20%20%20%20sim_pd%2C%0A%20%20%20%20%20%20%20%20sim_pf%2C%0A%20%20%20%20%20%20%20%20sim_pm%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20C_H0%2C%0A%20%20%20%20C_H1%2C%0A%20%20%20%20correct_rejections%2C%0A%20%20%20%20detections%2C%0A%20%20%20%20false_alarms%2C%0A%20%20%20%20misses%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20n_alarm%2C%0A%20%20%20%20n_alarm_trials%2C%0A%20%20%20%20seed_alarm%2C%0A%20%20%20%20sim_pd%2C%0A%20%20%20%20sim_pf%2C%0A%20%20%20%20sim_pm%2C%0A)%3A%0A%20%20%20%20_table%20%3D%20f%22%22%22%0A%20%20%20%20%3Ctable%20style%3D%22border-collapse%3Acollapse%3Bmargin%3A0.25rem%200%200.75rem%200%3Bmin-width%3A520px%22%3E%0A%20%20%20%20%20%20%3Cthead%3E%0A%20%20%20%20%20%20%20%20%3Ctr%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cth%20style%3D%22border-bottom%3A1px%20solid%20%23aaa%3Bpadding%3A6px%2010px%3Btext-align%3Aleft%22%3Etruth%3C%2Fth%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cth%20style%3D%22border-bottom%3A1px%20solid%20%23aaa%3Bpadding%3A6px%2010px%3Btext-align%3Aright%22%3Edecide%20H0%3C%2Fth%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cth%20style%3D%22border-bottom%3A1px%20solid%20%23aaa%3Bpadding%3A6px%2010px%3Btext-align%3Aright%22%3Edecide%20H1%3C%2Fth%3E%0A%20%20%20%20%20%20%20%20%3C%2Ftr%3E%0A%20%20%20%20%20%20%3C%2Fthead%3E%0A%20%20%20%20%20%20%3Ctbody%3E%0A%20%20%20%20%20%20%20%20%3Ctr%3E%0A%20%20%20%20%20%20%20%20%20%20%3Ctd%20style%3D%22padding%3A6px%2010px%3Bcolor%3A%7BC_H0%7D%3Bfont-weight%3A600%22%3EH0%3A%20no%20burglary%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%20%20%3Ctd%20style%3D%22padding%3A6px%2010px%3Btext-align%3Aright%22%3E%7Bcorrect_rejections%7D%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%20%20%3Ctd%20style%3D%22padding%3A6px%2010px%3Btext-align%3Aright%22%3E%7Bfalse_alarms%7D%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%3C%2Ftr%3E%0A%20%20%20%20%20%20%20%20%3Ctr%3E%0A%20%20%20%20%20%20%20%20%20%20%3Ctd%20style%3D%22padding%3A6px%2010px%3Bcolor%3A%7BC_H1%7D%3Bfont-weight%3A600%22%3EH1%3A%20burglary%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%20%20%3Ctd%20style%3D%22padding%3A6px%2010px%3Btext-align%3Aright%22%3E%7Bmisses%7D%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%20%20%3Ctd%20style%3D%22padding%3A6px%2010px%3Btext-align%3Aright%22%3E%7Bdetections%7D%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%3C%2Ftr%3E%0A%20%20%20%20%20%20%3C%2Ftbody%3E%0A%20%20%20%20%3C%2Ftable%3E%0A%20%20%20%20%22%22%22%0A%20%20%20%20_note%20%3D%20rf%22%22%22%0A%20%20%20%20Simulated%20from%20%7Bn_alarm%7D%20cases%20under%20each%20hypothesis%3A%0A%20%20%20%20%24%5Cwidehat%20P_F%3D%7Bsim_pf%3A.3f%7D%24%2C%0A%20%20%20%20%24%5Cwidehat%20P_D%3D%7Bsim_pd%3A.3f%7D%24%2C%0A%20%20%20%20%24%5Cwidehat%20P_M%3D%7Bsim_pm%3A.3f%7D%24.%0A%20%20%20%20%22%22%22%0A%20%20%20%20mo.vstack(%5Bmo.hstack(%5Bn_alarm_trials%2C%20seed_alarm%5D)%2C%20mo.Html(_table)%2C%20mo.md(_note)%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Takeaways%0A%0A%20%20%20%201.%20A%20decision%20rule%20partitions%20the%20score%20axis%20into%20regions%0A%20%20%20%20%20%20%20%24%5Cmathcal%7BX%7D_0%2C%5Cmathcal%7BX%7D_1%24%3B%20its%20performance%20is%20the%20pair%20%24(P_F%2CP_D)%24.%0A%20%20%20%202.%20Neyman--Pearson%20fixes%20%24P_F%5Cle%5Calpha%24%20and%20maximizes%20%24P_D%24%3B%20the%20optimum%20is%20the%0A%20%20%20%20%20%20%20likelihood-ratio%20test%20%24%5CLambda(x)%5Cgtrless%5Ceta%24.%0A%20%20%20%203.%20The%20region%20%24%5Cmathcal%7BX%7D_1%3D%5C%7Bx%3A%5CLambda(x)%3E%5Ceta%5C%7D%24%20is%20a%20single%20threshold%20**only**%0A%20%20%20%20%20%20%20when%20%24%5CLambda%24%20is%20monotone%20(Gaussian%20mean%20shift%2C%20exponential%20energy).%20A%20shift%0A%20%20%20%20%20%20%20in%20spread%20makes%20it%20the%20*outside*%20of%20an%20interval%3B%20a%20bimodal%20alternative%20splits%0A%20%20%20%20%20%20%20it%20into%20*disjoint%20pieces*.%20The%20test%20statistic%2C%20not%20a%20Gaussian%2C%20decides%20the%0A%20%20%20%20%20%20%20geometry.%0A%20%20%20%204.%20The%20ROC%20is%20traced%20by%20the%20LRT%20and%20is%20the%20same%20regardless%20of%20%24%5Calpha%24%3B%20the%0A%20%20%20%20%20%20%20constraint%20%24%5Calpha%24%20only%20picks%20the%20operating%20point%20on%20it.%0A%0A%20%20%20%20Source%20context%3A%20the%20practical%20false-alarm%20story%20is%20motivated%20by%20the%0A%20%20%20%20Wikipedia%20article%20on%20%5Bfalse%20alarms%5D(https%3A%2F%2Fen.wikipedia.org%2Fwiki%2FFalse_alarm)%0A%20%20%20%20and%20its%20residential%20burglar-alarm%20examples.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A