expectation moments jensen interactive

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.11%22%0A%23%20dependencies%20%3D%20%5B%22marimo%3E%3D0.23.9%22%2C%20%22matplotlib%3D%3D3.10.8%22%2C%20%22numpy%3D%3D2.4.3%22%5D%0A%23%20%0A%23%20%5Btool.marimo.export%5D%0A%23%20lock_kind%20%3D%20%22resolved%22%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.25.1%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell%0Adef%20imports()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%20%20%20%20import%20numpy%20as%20np%0A%0A%20%20%20%20plt.style.use(%22seaborn-v0_8-whitegrid%22)%0A%20%20%20%20return%20mo%2C%20np%2C%20plt%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20intro(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Expectation%2C%20moments%2C%20and%20Jensen's%20inequality%0A%0A%20%20%20%20A%20probability%20density%20contains%20the%20whole%20distribution%2C%20but%20many%20signal-processing%20methods%20keep%0A%20%20%20%20only%20a%20few%20weighted%20averages.%20This%20notebook%20makes%20those%20averages%20visible%3A%0A%0A%20%20%20%201.%20turn%20a%20density%20into%20a%20moment%20by%20integrating%20%24h(x)f_X(x)%24%3B%0A%20%20%20%202.%20estimate%20that%20same%20quantity%20from%20samples%20with%20Monte%20Carlo%3B%0A%20%20%20%203.%20see%20Jensen's%20inequality%20as%20a%20geometric%20gap%3B%0A%20%20%20%204.%20connect%20power%20means%20to%20spectral%20flatness%20and%20predictability.%0A%0A%20%20%20%20All%20calculations%20run%20locally%20in%20the%20browser.%20Change%20the%20distribution%20once%20and%20the%20first%20three%0A%20%20%20%20sections%20update%20together.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20distribution_helpers(np)%3A%0A%20%20%20%20def%20distribution_density(name%2C%20location%2C%20scale)%3A%0A%20%20%20%20%20%20%20%20if%20name%20%3D%3D%20%22Gaussian%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20x%20%3D%20np.linspace(location%20-%207%20*%20scale%2C%20location%20%2B%207%20*%20scale%2C%201601)%0A%20%20%20%20%20%20%20%20%20%20%20%20z%20%3D%20(x%20-%20location)%20%2F%20scale%0A%20%20%20%20%20%20%20%20%20%20%20%20pdf%20%3D%20np.exp(-0.5%20*%20z**2)%20%2F%20(np.sqrt(2%20*%20np.pi)%20*%20scale)%0A%20%20%20%20%20%20%20%20elif%20name%20%3D%3D%20%22Laplace%20(heavy%20tails)%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20b%20%3D%20scale%20%2F%20np.sqrt(2)%0A%20%20%20%20%20%20%20%20%20%20%20%20x%20%3D%20np.linspace(location%20-%2010%20*%20scale%2C%20location%20%2B%2010%20*%20scale%2C%202001)%0A%20%20%20%20%20%20%20%20%20%20%20%20pdf%20%3D%20np.exp(-np.abs(x%20-%20location)%20%2F%20b)%20%2F%20(2%20*%20b)%0A%20%20%20%20%20%20%20%20elif%20name%20%3D%3D%20%22Uniform%20(light%20tails)%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20half_width%20%3D%20np.sqrt(3)%20*%20scale%0A%20%20%20%20%20%20%20%20%20%20%20%20x%20%3D%20np.linspace(location%20-%201.25%20*%20half_width%2C%20location%20%2B%201.25%20*%20half_width%2C%201601)%0A%20%20%20%20%20%20%20%20%20%20%20%20pdf%20%3D%20np.where(np.abs(x%20-%20location)%20%3C%3D%20half_width%2C%201%20%2F%20(2%20*%20half_width)%2C%200.0)%0A%20%20%20%20%20%20%20%20elif%20name%20%3D%3D%20%22Bimodal%20mixture%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20component_sd%20%3D%200.38%20*%20scale%0A%20%20%20%20%20%20%20%20%20%20%20%20centers%20%3D%20(location%20-%201.25%20*%20scale%2C%20location%20%2B%201.25%20*%20scale)%0A%20%20%20%20%20%20%20%20%20%20%20%20x%20%3D%20np.linspace(location%20-%204%20*%20scale%2C%20location%20%2B%204%20*%20scale%2C%201801)%0A%20%20%20%20%20%20%20%20%20%20%20%20pdf%20%3D%20sum(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%200.5%20*%20np.exp(-0.5%20*%20((x%20-%20center)%20%2F%20component_sd)%20**%202)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2F%20(np.sqrt(2%20*%20np.pi)%20*%20component_sd)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20center%20in%20centers%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20x%20%3D%20np.linspace(location%20-%20scale%2C%20location%20%2B%2011%20*%20scale%2C%202001)%0A%20%20%20%20%20%20%20%20%20%20%20%20pdf%20%3D%20np.where(x%20%3E%3D%20location%20-%20scale%2C%20np.exp(-(x%20-%20location%20%2B%20scale)%20%2F%20scale)%20%2F%20scale%2C%200.0)%0A%20%20%20%20%20%20%20%20pdf%20%3D%20pdf%20%2F%20np.trapezoid(pdf%2C%20x)%0A%20%20%20%20%20%20%20%20return%20x%2C%20pdf%0A%0A%0A%20%20%20%20def%20sample_distribution(name%2C%20size%2C%20location%2C%20scale%2C%20rng)%3A%0A%20%20%20%20%20%20%20%20if%20name%20%3D%3D%20%22Gaussian%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20rng.normal(location%2C%20scale%2C%20size)%0A%20%20%20%20%20%20%20%20if%20name%20%3D%3D%20%22Laplace%20(heavy%20tails)%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20rng.laplace(location%2C%20scale%20%2F%20np.sqrt(2)%2C%20size)%0A%20%20%20%20%20%20%20%20if%20name%20%3D%3D%20%22Uniform%20(light%20tails)%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20rng.uniform(location%20-%20np.sqrt(3)%20*%20scale%2C%20location%20%2B%20np.sqrt(3)%20*%20scale%2C%20size)%0A%20%20%20%20%20%20%20%20if%20name%20%3D%3D%20%22Bimodal%20mixture%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20side%20%3D%20rng.choice(np.array(%5B-1.0%2C%201.0%5D)%2C%20size%3Dsize)%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20rng.normal(location%20%2B%201.25%20*%20scale%20*%20side%2C%200.38%20*%20scale%2C%20size)%0A%20%20%20%20%20%20%20%20return%20location%20%2B%20scale%20*%20(rng.exponential(1.0%2C%20size)%20-%201.0)%0A%0A%0A%20%20%20%20def%20jensen_value(name%2C%20x)%3A%0A%20%20%20%20%20%20%20%20if%20name%20%3D%3D%20%22Quadratic%20%E2%80%94%20convex%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20x**2%0A%20%20%20%20%20%20%20%20if%20name%20%3D%3D%20%22Exponential%20%E2%80%94%20convex%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20np.exp(0.6%20*%20x)%0A%20%20%20%20%20%20%20%20if%20name%20%3D%3D%20%22Softplus%20%E2%80%94%20convex%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20np.logaddexp(0.0%2C%20x)%0A%20%20%20%20%20%20%20%20if%20name%20%3D%3D%20%22Negative%20exponential%20%E2%80%94%20concave%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20-np.exp(-0.6%20*%20x)%0A%20%20%20%20%20%20%20%20return%200.7%20*%20x%20%2B%201.0%0A%0A%0A%20%20%20%20def%20jensen_derivative(name%2C%20x)%3A%0A%20%20%20%20%20%20%20%20if%20name%20%3D%3D%20%22Quadratic%20%E2%80%94%20convex%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%202.0%20*%20x%0A%20%20%20%20%20%20%20%20if%20name%20%3D%3D%20%22Exponential%20%E2%80%94%20convex%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%200.6%20*%20np.exp(0.6%20*%20x)%0A%20%20%20%20%20%20%20%20if%20name%20%3D%3D%20%22Softplus%20%E2%80%94%20convex%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%201.0%20%2F%20(1.0%20%2B%20np.exp(-x))%0A%20%20%20%20%20%20%20%20if%20name%20%3D%3D%20%22Negative%20exponential%20%E2%80%94%20concave%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%200.6%20*%20np.exp(-0.6%20*%20x)%0A%20%20%20%20%20%20%20%20return%20np.asarray(x)%20*%200.0%20%2B%200.7%0A%0A%0A%20%20%20%20def%20power_mean_value(values%2C%20order)%3A%0A%20%20%20%20%20%20%20%20if%20abs(order)%20%3C%201e-10%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20float(np.exp(np.mean(np.log(values))))%0A%20%20%20%20%20%20%20%20return%20float(np.mean(values**order)%20**%20(1.0%20%2F%20order))%0A%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20distribution_density%2C%0A%20%20%20%20%20%20%20%20jensen_derivative%2C%0A%20%20%20%20%20%20%20%20jensen_value%2C%0A%20%20%20%20%20%20%20%20power_mean_value%2C%0A%20%20%20%20%20%20%20%20sample_distribution%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20moment_explanation(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%201%20%C2%B7%20A%20moment%20is%20a%20weighted%20area%0A%0A%20%20%20%20For%20a%20chosen%20function%20%24h%24%2C%20the%20law%20of%20the%20unconscious%20statistician%20says%0A%0A%20%20%20%20%24%24%0A%20%20%20%20%5Cmathbb%20E%5Bh(X)%5D%20%3D%20%5Cint%20h(x)f_X(x)%5C%2C%5Cmathrm%20dx.%0A%20%20%20%20%24%24%0A%0A%20%20%20%20The%20middle%20panel%20below%20is%20the%20integrand%3A%20height%20comes%20from%20the%20value%20of%20%24h(x)%24%20and%20its%0A%20%20%20%20probability.%20The%20last%20panel%20accumulates%20this%20signed%20area%20from%20left%20to%20right.%20Raw%20moments%20use%0A%20%20%20%20%24h(x)%3Dx%5En%24%3B%20central%20moments%20use%20%24h(x)%3D(x-%5Cmathbb%20E%5BX%5D)%5En%24.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20moment_controls(mo)%3A%0A%20%20%20%20distribution_control%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Gaussian%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Laplace%20(heavy%20tails)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Uniform%20(light%20tails)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Bimodal%20mixture%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Shifted%20exponential%22%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Bimodal%20mixture%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Distribution%22%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20location_control%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20-1.5%2C%0A%20%20%20%20%20%20%20%201.5%2C%0A%20%20%20%20%20%20%20%20value%3D0.0%2C%0A%20%20%20%20%20%20%20%20step%3D0.1%2C%0A%20%20%20%20%20%20%20%20label%3D%22Location%22%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20scale_control%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%200.5%2C%0A%20%20%20%20%20%20%20%202.0%2C%0A%20%20%20%20%20%20%20%20value%3D1.0%2C%0A%20%20%20%20%20%20%20%20step%3D0.1%2C%0A%20%20%20%20%20%20%20%20label%3D%22Spread%20scale%22%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20moment_order_control%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%201%2C%0A%20%20%20%20%20%20%20%206%2C%0A%20%20%20%20%20%20%20%20value%3D4%2C%0A%20%20%20%20%20%20%20%20step%3D1%2C%0A%20%20%20%20%20%20%20%20label%3D%22Moment%20order%20n%22%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20moment_kind_control%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%5B%22Raw%22%2C%20%22Central%22%5D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Central%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Moment%20type%22%2C%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20distribution_control%2C%0A%20%20%20%20%20%20%20%20mo.hstack(%5Blocation_control%2C%20scale_control%5D)%2C%0A%20%20%20%20%20%20%20%20mo.hstack(%5Bmoment_order_control%2C%20moment_kind_control%5D)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20distribution_control%2C%0A%20%20%20%20%20%20%20%20location_control%2C%0A%20%20%20%20%20%20%20%20moment_kind_control%2C%0A%20%20%20%20%20%20%20%20moment_order_control%2C%0A%20%20%20%20%20%20%20%20scale_control%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20moment_plot(%0A%20%20%20%20distribution_control%2C%0A%20%20%20%20distribution_density%2C%0A%20%20%20%20location_control%2C%0A%20%20%20%20moment_kind_control%2C%0A%20%20%20%20moment_order_control%2C%0A%20%20%20%20np%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20scale_control%2C%0A)%3A%0A%20%20%20%20distribution_grid%2C%20distribution_pdf%20%3D%20distribution_density(%0A%20%20%20%20%20%20%20%20distribution_control.value%2C%0A%20%20%20%20%20%20%20%20float(location_control.value)%2C%0A%20%20%20%20%20%20%20%20float(scale_control.value)%2C%0A%20%20%20%20)%0A%20%20%20%20_population_mean_numeric%20%3D%20float(np.trapezoid(distribution_grid%20*%20distribution_pdf%2C%20distribution_grid))%0A%20%20%20%20population_mean%20%3D%200.0%20if%20abs(_population_mean_numeric)%20%3C%201e-12%20else%20_population_mean_numeric%0A%20%20%20%20_moment_order%20%3D%20int(moment_order_control.value)%0A%20%20%20%20_moment_center%20%3D%20population_mean%20if%20moment_kind_control.value%20%3D%3D%20%22Central%22%20else%200.0%0A%20%20%20%20_moment_function%20%3D%20(distribution_grid%20-%20_moment_center)%20**%20_moment_order%0A%20%20%20%20_moment_integrand%20%3D%20_moment_function%20*%20distribution_pdf%0A%20%20%20%20selected_moment%20%3D%20float(np.trapezoid(_moment_integrand%2C%20distribution_grid))%0A%20%20%20%20_cumulative_moment%20%3D%20np.concatenate(%5B%0A%20%20%20%20%20%20%20%20np.array(%5B0.0%5D)%2C%0A%20%20%20%20%20%20%20%20np.cumsum(%0A%20%20%20%20%20%20%20%20%20%20%20%200.5%0A%20%20%20%20%20%20%20%20%20%20%20%20*%20(_moment_integrand%5B1%3A%5D%20%2B%20_moment_integrand%5B%3A-1%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20*%20np.diff(distribution_grid)%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20moment_symbol%20%3D%20(%0A%20%20%20%20%20%20%20%20rf%22%5Cmathbb%7B%7BE%7D%7D%5B(X-%5Cmathbb%7B%7BE%7D%7D%5BX%5D)%5E%7B%7B%7B_moment_order%7D%7D%7D%5D%22%0A%20%20%20%20%20%20%20%20if%20moment_kind_control.value%20%3D%3D%20%22Central%22%0A%20%20%20%20%20%20%20%20else%20rf%22%5Cmathbb%7B%7BE%7D%7D%5BX%5E%7B%7B%7B_moment_order%7D%7D%7D%5D%22%0A%20%20%20%20)%0A%20%20%20%20fig_moments%2C%20_moment_axes%20%3D%20plt.subplots(1%2C%203%2C%20figsize%3D(12.4%2C%203.7))%0A%20%20%20%20_moment_axes%5B0%5D.plot(distribution_grid%2C%20distribution_pdf%2C%20color%3D%22%23285f8f%22%2C%20lw%3D2.2)%0A%20%20%20%20_moment_axes%5B0%5D.fill_between(distribution_grid%2C%20distribution_pdf%2C%20color%3D%22%237ba7cc%22%2C%20alpha%3D0.4)%0A%20%20%20%20_moment_axes%5B0%5D.axvline(population_mean%2C%20color%3D%22%23d1495b%22%2C%20ls%3D%22--%22%2C%20lw%3D1.8%2C%20label%3Drf%22mean%20%3D%20%7Bpopulation_mean%3A.2f%7D%22)%0A%20%20%20%20_moment_axes%5B0%5D.set(title%3Ddistribution_control.value%2C%20xlabel%3Dr%22value%20%24x%24%22%2C%20ylabel%3Dr%22density%20%24f_X(x)%24%22)%0A%20%20%20%20_moment_axes%5B0%5D.legend(frameon%3DTrue%2C%20fontsize%3D9)%0A%20%20%20%20_moment_axes%5B1%5D.plot(distribution_grid%2C%20_moment_integrand%2C%20color%3D%22%234c78a8%22%2C%20lw%3D2.0)%0A%20%20%20%20_moment_axes%5B1%5D.fill_between(%0A%20%20%20%20%20%20%20%20distribution_grid%2C%0A%20%20%20%20%20%20%20%200%2C%0A%20%20%20%20%20%20%20%20_moment_integrand%2C%0A%20%20%20%20%20%20%20%20where%3D_moment_integrand%20%3E%3D%200%2C%0A%20%20%20%20%20%20%20%20color%3D%22%2359a14f%22%2C%0A%20%20%20%20%20%20%20%20alpha%3D0.42%2C%0A%20%20%20%20%20%20%20%20label%3D%22positive%20area%22%2C%0A%20%20%20%20)%0A%20%20%20%20_moment_axes%5B1%5D.fill_between(%0A%20%20%20%20%20%20%20%20distribution_grid%2C%0A%20%20%20%20%20%20%20%200%2C%0A%20%20%20%20%20%20%20%20_moment_integrand%2C%0A%20%20%20%20%20%20%20%20where%3D_moment_integrand%20%3C%200%2C%0A%20%20%20%20%20%20%20%20color%3D%22%23e15759%22%2C%0A%20%20%20%20%20%20%20%20alpha%3D0.42%2C%0A%20%20%20%20%20%20%20%20label%3D%22negative%20area%22%2C%0A%20%20%20%20)%0A%20%20%20%20_moment_axes%5B1%5D.axhline(0%2C%20color%3D%22%23444444%22%2C%20lw%3D0.8)%0A%20%20%20%20_moment_axes%5B1%5D.set(title%3Drf%22Integrand%20for%20%24%7Bmoment_symbol%7D%24%22%2C%20xlabel%3Dr%22value%20%24x%24%22%2C%20ylabel%3Dr%22%24h(x)f_X(x)%24%22)%0A%20%20%20%20_moment_axes%5B1%5D.legend(frameon%3DTrue%2C%20fontsize%3D8)%0A%20%20%20%20_moment_axes%5B2%5D.plot(distribution_grid%2C%20_cumulative_moment%2C%20color%3D%22%237b4fa3%22%2C%20lw%3D2.2)%0A%20%20%20%20_moment_axes%5B2%5D.axhline(selected_moment%2C%20color%3D%22%23d1495b%22%2C%20ls%3D%22--%22%2C%20lw%3D1.6)%0A%20%20%20%20_moment_axes%5B2%5D.scatter(%5Bdistribution_grid%5B-1%5D%5D%2C%20%5Bselected_moment%5D%2C%20color%3D%22%23d1495b%22%2C%20zorder%3D4)%0A%20%20%20%20_moment_axes%5B2%5D.set(%0A%20%20%20%20%20%20%20%20title%3Drf%22Accumulated%20area%20%24%5Clongrightarrow%24%20%7Bselected_moment%3A.3g%7D%22%2C%0A%20%20%20%20%20%20%20%20xlabel%3Dr%22upper%20integration%20limit%20%24t%24%22%2C%0A%20%20%20%20%20%20%20%20ylabel%3D%22cumulative%20signed%20area%22%2C%0A%20%20%20%20)%0A%20%20%20%20for%20_moment_axis%20in%20_moment_axes%3A%0A%20%20%20%20%20%20%20%20_moment_axis.grid(alpha%3D0.25)%0A%20%20%20%20fig_moments.suptitle(%0A%20%20%20%20%20%20%20%20f%22%7Bmoment_kind_control.value%7D%20moment%20of%20order%20%7B_moment_order%7D%22%2C%0A%20%20%20%20%20%20%20%20fontweight%3D%22bold%22%2C%0A%20%20%20%20%20%20%20%20y%3D1.03%2C%0A%20%20%20%20)%0A%20%20%20%20fig_moments.tight_layout()%0A%20%20%20%20fig_moments%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20distribution_grid%2C%0A%20%20%20%20%20%20%20%20distribution_pdf%2C%0A%20%20%20%20%20%20%20%20moment_symbol%2C%0A%20%20%20%20%20%20%20%20population_mean%2C%0A%20%20%20%20%20%20%20%20selected_moment%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20moment_summary(mo%2C%20moment_symbol%2C%20selected_moment)%3A%0A%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20rf%22The%20selected%20moment%20is%20**%24%7Bmoment_symbol%7D%3D%7Bselected_moment%3A.4g%7D%24**.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Increase%20the%20order%20to%20see%20rare%2C%20large-magnitude%20values%20receive%20rapidly%20increasing%20weight.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20kind%3D%22info%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20monte_carlo_explanation(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%202%20%C2%B7%20From%20ensemble%20average%20to%20sample%20average%0A%0A%20%20%20%20The%20integral%20above%20is%20a%20population%20quantity.%20With%20generated%20observations%20%24X_1%2C%5Cldots%2CX_N%24%2C%0A%20%20%20%20Monte%20Carlo%20replaces%20it%20by%0A%0A%20%20%20%20%24%24%0A%20%20%20%20%5Cwidehat%7B%5Cmathbb%20E%5Bh(X)%5D%7D_N%20%3D%20%5Cfrac%7B1%7D%7BN%7D%5Csum_%7Bi%3D1%7D%5EN%20h(X_i).%0A%20%20%20%20%24%24%0A%0A%20%20%20%20The%20left%20panel%20shows%20this%20running%20estimate%20approaching%20the%20population%20moment.%20The%20right%20panel%0A%20%20%20%20asks%20a%20practical%20question%3A%20how%20much%20of%20the%20total%20absolute%20contribution%20comes%20from%20the%20most%0A%20%20%20%20extreme%20observations%3F%20Higher%20moments%20and%20heavy%20tails%20concentrate%20more%20influence%20in%20fewer%20samples.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20monte_carlo_controls(mo)%3A%0A%20%20%20%20mc_log10_control%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%202%2C%0A%20%20%20%20%20%20%20%205%2C%0A%20%20%20%20%20%20%20%20value%3D4%2C%0A%20%20%20%20%20%20%20%20step%3D1%2C%0A%20%20%20%20%20%20%20%20label%3D%22Sample%20size%20exponent%20(N%20%3D%2010%5Ek)%22%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20mc_seed_control%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%200%2C%0A%20%20%20%20%20%20%20%2099%2C%0A%20%20%20%20%20%20%20%20value%3D7%2C%0A%20%20%20%20%20%20%20%20step%3D1%2C%0A%20%20%20%20%20%20%20%20label%3D%22Random%20seed%22%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20mo.hstack(%5Bmc_log10_control%2C%20mc_seed_control%5D)%0A%20%20%20%20return%20mc_log10_control%2C%20mc_seed_control%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20monte_carlo_plot(%0A%20%20%20%20distribution_control%2C%0A%20%20%20%20location_control%2C%0A%20%20%20%20mc_log10_control%2C%0A%20%20%20%20mc_seed_control%2C%0A%20%20%20%20moment_kind_control%2C%0A%20%20%20%20moment_order_control%2C%0A%20%20%20%20np%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20population_mean%2C%0A%20%20%20%20sample_distribution%2C%0A%20%20%20%20scale_control%2C%0A%20%20%20%20selected_moment%2C%0A)%3A%0A%20%20%20%20mc_sample_count%20%3D%2010%20**%20int(mc_log10_control.value)%0A%20%20%20%20_mc_rng%20%3D%20np.random.default_rng(int(mc_seed_control.value))%0A%20%20%20%20_mc_samples%20%3D%20sample_distribution(%0A%20%20%20%20%20%20%20%20distribution_control.value%2C%0A%20%20%20%20%20%20%20%20mc_sample_count%2C%0A%20%20%20%20%20%20%20%20float(location_control.value)%2C%0A%20%20%20%20%20%20%20%20float(scale_control.value)%2C%0A%20%20%20%20%20%20%20%20_mc_rng%2C%0A%20%20%20%20)%0A%20%20%20%20_mc_center%20%3D%20population_mean%20if%20moment_kind_control.value%20%3D%3D%20%22Central%22%20else%200.0%0A%20%20%20%20_mc_contributions%20%3D%20(_mc_samples%20-%20_mc_center)%20**%20int(moment_order_control.value)%0A%20%20%20%20_mc_checkpoints%20%3D%20np.unique(%0A%20%20%20%20%20%20%20%20np.geomspace(5%2C%20mc_sample_count%2C%20min(700%2C%20mc_sample_count%20-%204)).astype(int)%0A%20%20%20%20)%0A%20%20%20%20_mc_running_all%20%3D%20np.cumsum(_mc_contributions)%20%2F%20np.arange(1%2C%20mc_sample_count%20%2B%201)%0A%20%20%20%20_mc_running%20%3D%20_mc_running_all%5B_mc_checkpoints%20-%201%5D%0A%20%20%20%20mc_estimate%20%3D%20float(_mc_running_all%5B-1%5D)%0A%20%20%20%20mc_absolute_error%20%3D%20abs(mc_estimate%20-%20selected_moment)%0A%20%20%20%20_mc_abs_sorted%20%3D%20np.sort(np.abs(_mc_contributions))%5B%3A%3A-1%5D%0A%20%20%20%20_mc_abs_total%20%3D%20float(_mc_abs_sorted.sum())%0A%20%20%20%20_mc_cumulative_share%20%3D%20np.cumsum(_mc_abs_sorted)%20%2F%20max(_mc_abs_total%2C%201e-15)%0A%20%20%20%20_mc_observation_share%20%3D%20np.arange(1%2C%20mc_sample_count%20%2B%201)%20%2F%20mc_sample_count%0A%20%20%20%20_mc_top_count%20%3D%20max(1%2C%20int(np.ceil(0.01%20*%20mc_sample_count)))%0A%20%20%20%20mc_top_one_percent_share%20%3D%20float(_mc_cumulative_share%5B_mc_top_count%20-%201%5D)%0A%20%20%20%20fig_monte_carlo%2C%20_mc_axes%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(10.8%2C%203.8))%0A%20%20%20%20_mc_axes%5B0%5D.semilogx(_mc_checkpoints%2C%20_mc_running%2C%20color%3D%22%23285f8f%22%2C%20lw%3D2.0%2C%20label%3D%22running%20estimate%22)%0A%20%20%20%20_mc_axes%5B0%5D.axhline(selected_moment%2C%20color%3D%22%23d1495b%22%2C%20ls%3D%22--%22%2C%20lw%3D1.8%2C%20label%3D%22population%20moment%22)%0A%20%20%20%20_mc_axes%5B0%5D.scatter(%5Bmc_sample_count%5D%2C%20%5Bmc_estimate%5D%2C%20color%3D%22%23285f8f%22%2C%20zorder%3D4)%0A%20%20%20%20_mc_axes%5B0%5D.set(%0A%20%20%20%20%20%20%20%20title%3Drf%22Monte%20Carlo%20convergence%3A%20%24N%3D%7Bmc_sample_count%3A%2C%7D%24%22%2C%0A%20%20%20%20%20%20%20%20xlabel%3D%22number%20of%20samples%22%2C%0A%20%20%20%20%20%20%20%20ylabel%3D%22estimated%20moment%22%2C%0A%20%20%20%20)%0A%20%20%20%20_mc_axes%5B0%5D.legend(frameon%3DTrue%2C%20fontsize%3D9)%0A%20%20%20%20_mc_axes%5B1%5D.plot(_mc_observation_share%2C%20_mc_cumulative_share%2C%20color%3D%22%237b4fa3%22%2C%20lw%3D2.2)%0A%20%20%20%20_mc_axes%5B1%5D.plot(%5B0%2C%201%5D%2C%20%5B0%2C%201%5D%2C%20color%3D%22%23777777%22%2C%20ls%3D%22%3A%22%2C%20lw%3D1.2%2C%20label%3D%22equal%20influence%22)%0A%20%20%20%20_mc_axes%5B1%5D.axvline(0.01%2C%20color%3D%22%23d1495b%22%2C%20ls%3D%22--%22%2C%20lw%3D1.2)%0A%20%20%20%20_mc_axes%5B1%5D.scatter(%5B0.01%5D%2C%20%5Bmc_top_one_percent_share%5D%2C%20color%3D%22%23d1495b%22%2C%20zorder%3D4)%0A%20%20%20%20_mc_axes%5B1%5D.set(%0A%20%20%20%20%20%20%20%20xlim%3D(0%2C%201)%2C%0A%20%20%20%20%20%20%20%20ylim%3D(0%2C%201.02)%2C%0A%20%20%20%20%20%20%20%20title%3Df%22Largest%201%25%20contribute%20%7B100%20*%20mc_top_one_percent_share%3A.1f%7D%25%22%2C%0A%20%20%20%20%20%20%20%20xlabel%3D%22fraction%20of%20observations%20(largest%20first)%22%2C%0A%20%20%20%20%20%20%20%20ylabel%3D%22fraction%20of%20absolute%20contribution%22%2C%0A%20%20%20%20)%0A%20%20%20%20_mc_axes%5B1%5D.legend(frameon%3DTrue%2C%20fontsize%3D9%2C%20loc%3D%22lower%20right%22)%0A%20%20%20%20for%20_mc_axis%20in%20_mc_axes%3A%0A%20%20%20%20%20%20%20%20_mc_axis.grid(alpha%3D0.25)%0A%20%20%20%20fig_monte_carlo.suptitle(%0A%20%20%20%20%20%20%20%20f%22Estimating%20%7Bmoment_kind_control.value.lower()%7D%20moment%20%7Bint(moment_order_control.value)%7D%20from%20samples%22%2C%0A%20%20%20%20%20%20%20%20fontweight%3D%22bold%22%2C%0A%20%20%20%20%20%20%20%20y%3D1.03%2C%0A%20%20%20%20)%0A%20%20%20%20fig_monte_carlo.tight_layout()%0A%20%20%20%20fig_monte_carlo%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20mc_absolute_error%2C%0A%20%20%20%20%20%20%20%20mc_estimate%2C%0A%20%20%20%20%20%20%20%20mc_sample_count%2C%0A%20%20%20%20%20%20%20%20mc_top_one_percent_share%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20monte_carlo_summary(%0A%20%20%20%20mc_absolute_error%2C%0A%20%20%20%20mc_estimate%2C%0A%20%20%20%20mc_sample_count%2C%0A%20%20%20%20mc_top_one_percent_share%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20selected_moment%2C%0A)%3A%0A%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22With%20**%7Bmc_sample_count%3A%2C%7D%20samples**%2C%20the%20estimate%20is%20**%7Bmc_estimate%3A.4g%7D**%20versus%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22the%20population%20value%20**%7Bselected_moment%3A.4g%7D**%20(absolute%20error%20**%7Bmc_absolute_error%3A.3g%7D**).%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22The%20largest%201%25%20of%20observations%20supply%20**%7B100%20*%20mc_top_one_percent_share%3A.1f%7D%25**%20of%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22absolute%20moment%20contribution.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20kind%3D%22success%22%20if%20mc_absolute_error%20%3C%3D%200.08%20*%20max(abs(selected_moment)%2C%201e-8)%20else%20%22warn%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20jensen_explanation(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%203%20%C2%B7%20Jensen's%20inequality%20is%20a%20curvature%20gap%0A%0A%20%20%20%20For%20a%20convex%20function%20%24%5Cvarphi%24%2C%20the%20curve%20lies%20above%20its%20tangent%20at%20the%20mean.%20Averaging%20that%0A%20%20%20%20pointwise%20statement%20removes%20the%20tangent's%20linear%20term%20and%20leaves%0A%0A%20%20%20%20%24%24%0A%20%20%20%20%5Cvarphi(%5Cmathbb%20E%5BX%5D)%20%5Cleq%20%5Cmathbb%20E%5B%5Cvarphi(X)%5D.%0A%20%20%20%20%24%24%0A%0A%20%20%20%20Concave%20functions%20reverse%20the%20inequality.%20Equality%20occurs%20when%20the%20distribution%20has%20no%20spread%2C%0A%20%20%20%20or%20when%20%24%5Cvarphi%24%20is%20affine%20over%20its%20support.%20The%20right%20panel%20puts%20both%20averages%20at%20the%20same%0A%20%20%20%20%24x%24-coordinate%20so%20their%20vertical%20separation%20is%20the%20Jensen%20gap.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20jensen_controls(mo)%3A%0A%20%20%20%20jensen_function_control%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Quadratic%20%E2%80%94%20convex%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Exponential%20%E2%80%94%20convex%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Softplus%20%E2%80%94%20convex%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Negative%20exponential%20%E2%80%94%20concave%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Affine%20%E2%80%94%20equality%22%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Quadratic%20%E2%80%94%20convex%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Function%20%CF%86%22%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20jensen_function_control%0A%20%20%20%20return%20(jensen_function_control%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20jensen_plot(%0A%20%20%20%20distribution_grid%2C%0A%20%20%20%20distribution_pdf%2C%0A%20%20%20%20jensen_derivative%2C%0A%20%20%20%20jensen_function_control%2C%0A%20%20%20%20jensen_value%2C%0A%20%20%20%20np%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20population_mean%2C%0A)%3A%0A%20%20%20%20_jensen_name%20%3D%20jensen_function_control.value%0A%20%20%20%20_jensen_values%20%3D%20jensen_value(_jensen_name%2C%20distribution_grid)%0A%20%20%20%20jensen_left%20%3D%20float(jensen_value(_jensen_name%2C%20population_mean))%0A%20%20%20%20jensen_right%20%3D%20float(np.trapezoid(_jensen_values%20*%20distribution_pdf%2C%20distribution_grid))%0A%20%20%20%20jensen_gap%20%3D%20jensen_right%20-%20jensen_left%0A%20%20%20%20if%20%22concave%22%20in%20_jensen_name%3A%0A%20%20%20%20%20%20%20%20jensen_kind%20%3D%20%22concave%22%0A%20%20%20%20%20%20%20%20jensen_relation%20%3D%20%22%E2%89%A5%22%0A%20%20%20%20elif%20%22Affine%22%20in%20_jensen_name%3A%0A%20%20%20%20%20%20%20%20jensen_kind%20%3D%20%22affine%22%0A%20%20%20%20%20%20%20%20jensen_relation%20%3D%20%22%3D%22%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20jensen_kind%20%3D%20%22convex%22%0A%20%20%20%20%20%20%20%20jensen_relation%20%3D%20%22%E2%89%A4%22%0A%20%20%20%20_jensen_cdf%20%3D%20np.concatenate(%5B%0A%20%20%20%20%20%20%20%20np.array(%5B0.0%5D)%2C%0A%20%20%20%20%20%20%20%20np.cumsum(%0A%20%20%20%20%20%20%20%20%20%20%20%200.5%0A%20%20%20%20%20%20%20%20%20%20%20%20*%20(distribution_pdf%5B1%3A%5D%20%2B%20distribution_pdf%5B%3A-1%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20*%20np.diff(distribution_grid)%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20_jensen_view_mask%20%3D%20(_jensen_cdf%20%3E%3D%200.002)%20%26%20(_jensen_cdf%20%3C%3D%200.998)%0A%20%20%20%20_jensen_x_view%20%3D%20distribution_grid%5B_jensen_view_mask%5D%0A%20%20%20%20_jensen_curve_view%20%3D%20jensen_value(_jensen_name%2C%20_jensen_x_view)%0A%20%20%20%20_jensen_slope%20%3D%20float(jensen_derivative(_jensen_name%2C%20population_mean))%0A%20%20%20%20_jensen_tangent%20%3D%20jensen_left%20%2B%20_jensen_slope%20*%20(_jensen_x_view%20-%20population_mean)%0A%20%20%20%20_jensen_all_y%20%3D%20np.concatenate(%5B%0A%20%20%20%20%20%20%20%20_jensen_curve_view%2C%0A%20%20%20%20%20%20%20%20_jensen_tangent%2C%0A%20%20%20%20%20%20%20%20np.array(%5Bjensen_left%2C%20jensen_right%5D)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20_jensen_y_low%20%3D%20float(np.min(_jensen_all_y))%0A%20%20%20%20_jensen_y_high%20%3D%20float(np.max(_jensen_all_y))%0A%20%20%20%20_jensen_y_pad%20%3D%200.08%20*%20max(_jensen_y_high%20-%20_jensen_y_low%2C%201.0)%0A%20%20%20%20fig_jensen%2C%20_jensen_axes%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(10.8%2C%204.0))%0A%20%20%20%20_jensen_axes%5B0%5D.plot(distribution_grid%2C%20distribution_pdf%2C%20color%3D%22%23285f8f%22%2C%20lw%3D2.2)%0A%20%20%20%20_jensen_axes%5B0%5D.fill_between(distribution_grid%2C%20distribution_pdf%2C%20color%3D%22%237ba7cc%22%2C%20alpha%3D0.4)%0A%20%20%20%20_jensen_axes%5B0%5D.axvline(population_mean%2C%20color%3D%22%23d1495b%22%2C%20ls%3D%22--%22%2C%20lw%3D1.8)%0A%20%20%20%20_jensen_axes%5B0%5D.set(%0A%20%20%20%20%20%20%20%20title%3Drf%22Average%20input%3A%20%24%5Cmathbb%7B%7BE%7D%7D%5BX%5D%3D%7Bpopulation_mean%3A.3g%7D%24%22%2C%0A%20%20%20%20%20%20%20%20xlabel%3Dr%22input%20%24x%24%22%2C%0A%20%20%20%20%20%20%20%20ylabel%3Dr%22density%20%24f_X(x)%24%22%2C%0A%20%20%20%20)%0A%20%20%20%20_jensen_axes%5B1%5D.plot(_jensen_x_view%2C%20_jensen_curve_view%2C%20color%3D%22%23285f8f%22%2C%20lw%3D2.3%2C%20label%3Dr%22curve%20%24%5Cvarphi(x)%24%22)%0A%20%20%20%20_jensen_axes%5B1%5D.plot(_jensen_x_view%2C%20_jensen_tangent%2C%20color%3D%22%23777777%22%2C%20ls%3D%22--%22%2C%20lw%3D1.5%2C%20label%3D%22tangent%20at%20the%20mean%22)%0A%20%20%20%20if%20jensen_kind%20%3D%3D%20%22concave%22%3A%0A%20%20%20%20%20%20%20%20_jensen_axes%5B1%5D.fill_between(_jensen_x_view%2C%20_jensen_curve_view%2C%20_jensen_tangent%2C%20color%3D%22%23f28e2b%22%2C%20alpha%3D0.16)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_jensen_axes%5B1%5D.fill_between(_jensen_x_view%2C%20_jensen_tangent%2C%20_jensen_curve_view%2C%20color%3D%22%2359a14f%22%2C%20alpha%3D0.16)%0A%20%20%20%20_jensen_axes%5B1%5D.scatter(%5Bpopulation_mean%5D%2C%20%5Bjensen_left%5D%2C%20color%3D%22%23285f8f%22%2C%20s%3D55%2C%20zorder%3D5%2C%20label%3Dr%22%24%5Cvarphi(%5Cmathbb%7BE%7D%5BX%5D)%24%22)%0A%20%20%20%20_jensen_axes%5B1%5D.scatter(%5Bpopulation_mean%5D%2C%20%5Bjensen_right%5D%2C%20color%3D%22%23d1495b%22%2C%20marker%3D%22D%22%2C%20s%3D48%2C%20zorder%3D5%2C%20label%3Dr%22%24%5Cmathbb%7BE%7D%5B%5Cvarphi(X)%5D%24%22)%0A%20%20%20%20_jensen_axes%5B1%5D.annotate(%0A%20%20%20%20%20%20%20%20%22%22%2C%0A%20%20%20%20%20%20%20%20xy%3D(population_mean%2C%20jensen_right)%2C%0A%20%20%20%20%20%20%20%20xytext%3D(population_mean%2C%20jensen_left)%2C%0A%20%20%20%20%20%20%20%20arrowprops%3D%7B%22arrowstyle%22%3A%20%22%3C-%3E%22%2C%20%22color%22%3A%20%22%23d1495b%22%2C%20%22lw%22%3A%201.7%7D%2C%0A%20%20%20%20)%0A%20%20%20%20_jensen_axes%5B1%5D.set(%0A%20%20%20%20%20%20%20%20xlim%3D(_jensen_x_view%5B0%5D%2C%20_jensen_x_view%5B-1%5D)%2C%0A%20%20%20%20%20%20%20%20ylim%3D(_jensen_y_low%20-%20_jensen_y_pad%2C%20_jensen_y_high%20%2B%20_jensen_y_pad)%2C%0A%20%20%20%20%20%20%20%20title%3Df%22Jensen%20gap%20%3D%20%7Bjensen_gap%3A%2B.3g%7D%22%2C%0A%20%20%20%20%20%20%20%20xlabel%3Dr%22input%20%24x%24%22%2C%0A%20%20%20%20%20%20%20%20ylabel%3Dr%22output%20%24%5Cvarphi(x)%24%22%2C%0A%20%20%20%20)%0A%20%20%20%20_jensen_axes%5B1%5D.legend(frameon%3DTrue%2C%20fontsize%3D8%2C%20loc%3D%22best%22)%0A%20%20%20%20for%20_jensen_axis%20in%20_jensen_axes%3A%0A%20%20%20%20%20%20%20%20_jensen_axis.grid(alpha%3D0.25)%0A%20%20%20%20fig_jensen.suptitle(%0A%20%20%20%20%20%20%20%20f%22%7B_jensen_name%7D%3A%20%20%CF%86(E%5BX%5D)%20%7Bjensen_relation%7D%20E%5B%CF%86(X)%5D%22%2C%0A%20%20%20%20%20%20%20%20fontweight%3D%22bold%22%2C%0A%20%20%20%20%20%20%20%20y%3D1.03%2C%0A%20%20%20%20)%0A%20%20%20%20fig_jensen.tight_layout()%0A%20%20%20%20fig_jensen%0A%20%20%20%20return%20jensen_kind%2C%20jensen_left%2C%20jensen_relation%2C%20jensen_right%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20jensen_summary(%0A%20%20%20%20jensen_kind%2C%0A%20%20%20%20jensen_left%2C%0A%20%20%20%20jensen_relation%2C%0A%20%20%20%20jensen_right%2C%0A%20%20%20%20mo%2C%0A)%3A%0A%20%20%20%20_jensen_kind_text%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22convex%22%3A%20%22Convexity%20makes%20the%20gap%20nonnegative.%22%2C%0A%20%20%20%20%20%20%20%20%22concave%22%3A%20%22Concavity%20makes%20the%20gap%20nonpositive%20and%20reverses%20the%20inequality.%22%2C%0A%20%20%20%20%20%20%20%20%22affine%22%3A%20%22An%20affine%20function%20has%20no%20curvature%2C%20so%20the%20two%20averages%20agree.%22%2C%0A%20%20%20%20%7D%5Bjensen_kind%5D%0A%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**%CF%86(E%5BX%5D)%20%3D%20%7Bjensen_left%3A.4g%7D%20%7Bjensen_relation%7D%20E%5B%CF%86(X)%5D%20%3D%20%7Bjensen_right%3A.4g%7D.**%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20_jensen_kind_text%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20kind%3D%22info%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20power_mean_explanation(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%204%20%C2%B7%20Power%20means%20become%20spectral%20flatness%0A%0A%20%20%20%20For%20positive%20values%2C%20the%20power%20mean%0A%0A%20%20%20%20%24%24%0A%20%20%20%20M_p(S)%20%3D%20%5Cleft(%5Cmathbb%20E%5BS%5Ep%5D%0A%20%20%20%20ight)%5E%7B1%2Fp%7D%0A%20%20%20%20%24%24%0A%0A%20%20%20%20moves%20continuously%20from%20the%20harmonic%20mean%20(%24p%3D-1%24)%2C%20through%20the%20geometric%20mean%20(%24p%3D0%24)%2C%20to%0A%20%20%20%20the%20arithmetic%20mean%20(%24p%3D1%24)%20and%20RMS%20(%24p%3D2%24).%20Jensen%20orders%20them%20from%20left%20to%20right.%0A%0A%20%20%20%20Treat%20the%20values%20as%20power%20across%20frequency.%20Then%20geometric%20mean%20divided%20by%20arithmetic%20mean%20is%0A%20%20%20%20the%20**spectral%20flatness%20measure**%3A%20one%20for%20a%20flat%2C%20noise-like%20spectrum%20and%20near%20zero%20for%20a%20peaky%2C%0A%20%20%20%20predictable%20spectrum.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20power_mean_controls(mo)%3A%0A%20%20%20%20spectrum_shape_control%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%5B%22Flat%22%2C%20%22Tilted%22%2C%20%22One%20resonance%22%2C%20%22Harmonic%20peaks%22%5D%2C%0A%20%20%20%20%20%20%20%20value%3D%22One%20resonance%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Spectrum%20shape%22%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20spectrum_contrast_control%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%200.0%2C%0A%20%20%20%20%20%20%20%207.0%2C%0A%20%20%20%20%20%20%20%20value%3D4.0%2C%0A%20%20%20%20%20%20%20%20step%3D0.25%2C%0A%20%20%20%20%20%20%20%20label%3D%22Peak-to-valley%20contrast%22%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20power_order_control%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20-2.0%2C%0A%20%20%20%20%20%20%20%202.0%2C%0A%20%20%20%20%20%20%20%20value%3D0.0%2C%0A%20%20%20%20%20%20%20%20step%3D0.1%2C%0A%20%20%20%20%20%20%20%20label%3D%22Power-mean%20order%20p%22%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20spectrum_shape_control%2C%0A%20%20%20%20%20%20%20%20mo.hstack(%5Bspectrum_contrast_control%2C%20power_order_control%5D)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20power_order_control%2C%0A%20%20%20%20%20%20%20%20spectrum_contrast_control%2C%0A%20%20%20%20%20%20%20%20spectrum_shape_control%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20power_mean_plot(%0A%20%20%20%20np%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20power_mean_value%2C%0A%20%20%20%20power_order_control%2C%0A%20%20%20%20spectrum_contrast_control%2C%0A%20%20%20%20spectrum_shape_control%2C%0A)%3A%0A%20%20%20%20spectrum_frequency%20%3D%20np.linspace(-0.5%2C%200.5%2C%20801)%0A%20%20%20%20_spectrum_contrast%20%3D%20float(spectrum_contrast_control.value)%0A%20%20%20%20if%20spectrum_shape_control.value%20%3D%3D%20%22Flat%22%3A%0A%20%20%20%20%20%20%20%20_spectrum_log_shape%20%3D%20np.zeros_like(spectrum_frequency)%0A%20%20%20%20elif%20spectrum_shape_control.value%20%3D%3D%20%22Tilted%22%3A%0A%20%20%20%20%20%20%20%20_spectrum_log_shape%20%3D%202.0%20*%20_spectrum_contrast%20*%20spectrum_frequency%0A%20%20%20%20elif%20spectrum_shape_control.value%20%3D%3D%20%22One%20resonance%22%3A%0A%20%20%20%20%20%20%20%20_spectrum_log_shape%20%3D%20_spectrum_contrast%20*%20np.exp(%0A%20%20%20%20%20%20%20%20%20%20%20%20-0.5%20*%20((spectrum_frequency%20-%200.12)%20%2F%200.065)%20**%202%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_spectrum_log_shape%20%3D%20_spectrum_contrast%20*%20(%0A%20%20%20%20%20%20%20%20%20%20%20%201.00%20*%20np.exp(-0.5%20*%20((spectrum_frequency%20%2B%200.24)%20%2F%200.035)%20**%202)%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%200.82%20*%20np.exp(-0.5%20*%20((spectrum_frequency%20%2B%200.04)%20%2F%200.045)%20**%202)%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%200.64%20*%20np.exp(-0.5%20*%20((spectrum_frequency%20-%200.18)%20%2F%200.055)%20**%202)%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%200.46%20*%20np.exp(-0.5%20*%20((spectrum_frequency%20-%200.37)%20%2F%200.04)%20**%202)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20spectrum_values%20%3D%20np.exp(_spectrum_log_shape%20-%20np.max(_spectrum_log_shape))%0A%20%20%20%20spectrum_values%20%3D%20spectrum_values%20%2F%20np.mean(spectrum_values)%0A%20%20%20%20_power_orders%20%3D%20np.linspace(-2.0%2C%202.0%2C%20161)%0A%20%20%20%20_power_mean_curve%20%3D%20np.array(%5B%0A%20%20%20%20%20%20%20%20power_mean_value(spectrum_values%2C%20float(_order))%20for%20_order%20in%20_power_orders%0A%20%20%20%20%5D)%0A%20%20%20%20_selected_power_order%20%3D%20float(power_order_control.value)%0A%20%20%20%20selected_power_mean%20%3D%20power_mean_value(spectrum_values%2C%20_selected_power_order)%0A%20%20%20%20harmonic_mean%20%3D%20power_mean_value(spectrum_values%2C%20-1.0)%0A%20%20%20%20geometric_mean%20%3D%20power_mean_value(spectrum_values%2C%200.0)%0A%20%20%20%20arithmetic_mean%20%3D%20power_mean_value(spectrum_values%2C%201.0)%0A%20%20%20%20rms_mean%20%3D%20power_mean_value(spectrum_values%2C%202.0)%0A%20%20%20%20spectral_flatness%20%3D%20geometric_mean%20%2F%20arithmetic_mean%0A%20%20%20%20fig_power_means%2C%20_power_axes%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(10.8%2C%203.9))%0A%20%20%20%20_power_axes%5B0%5D.plot(spectrum_frequency%2C%20spectrum_values%2C%20color%3D%22%23285f8f%22%2C%20lw%3D2.2)%0A%20%20%20%20_power_axes%5B0%5D.fill_between(spectrum_frequency%2C%20spectrum_values%2C%20color%3D%22%237ba7cc%22%2C%20alpha%3D0.38)%0A%20%20%20%20_power_axes%5B0%5D.axhline(arithmetic_mean%2C%20color%3D%22%23d1495b%22%2C%20ls%3D%22--%22%2C%20lw%3D1.5%2C%20label%3D%22arithmetic%20mean%22)%0A%20%20%20%20_power_axes%5B0%5D.axhline(geometric_mean%2C%20color%3D%22%2359a14f%22%2C%20ls%3D%22%3A%22%2C%20lw%3D1.8%2C%20label%3D%22geometric%20mean%22)%0A%20%20%20%20_power_axes%5B0%5D.set(%0A%20%20%20%20%20%20%20%20title%3Df%22%7Bspectrum_shape_control.value%7D%20spectrum%22%2C%0A%20%20%20%20%20%20%20%20xlabel%3D%22normalized%20frequency%22%2C%0A%20%20%20%20%20%20%20%20ylabel%3D%22power%22%2C%0A%20%20%20%20)%0A%20%20%20%20_power_axes%5B0%5D.legend(frameon%3DTrue%2C%20fontsize%3D9)%0A%20%20%20%20_power_axes%5B1%5D.plot(_power_orders%2C%20_power_mean_curve%2C%20color%3D%22%237b4fa3%22%2C%20lw%3D2.4)%0A%20%20%20%20_power_axes%5B1%5D.scatter(%5B_selected_power_order%5D%2C%20%5Bselected_power_mean%5D%2C%20color%3D%22%23d1495b%22%2C%20s%3D55%2C%20zorder%3D4)%0A%20%20%20%20for%20_special_order%2C%20_special_value%2C%20_special_label%20in%20%5B%0A%20%20%20%20%20%20%20%20(-1.0%2C%20harmonic_mean%2C%20%22harmonic%22)%2C%0A%20%20%20%20%20%20%20%20(0.0%2C%20geometric_mean%2C%20%22geometric%22)%2C%0A%20%20%20%20%20%20%20%20(1.0%2C%20arithmetic_mean%2C%20%22arithmetic%22)%2C%0A%20%20%20%20%20%20%20%20(2.0%2C%20rms_mean%2C%20%22RMS%22)%2C%0A%20%20%20%20%5D%3A%0A%20%20%20%20%20%20%20%20_power_axes%5B1%5D.scatter(%5B_special_order%5D%2C%20%5B_special_value%5D%2C%20color%3D%22%23285f8f%22%2C%20s%3D28%2C%20zorder%3D3)%0A%20%20%20%20%20%20%20%20_power_axes%5B1%5D.annotate(%0A%20%20%20%20%20%20%20%20%20%20%20%20_special_label%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(_special_order%2C%20_special_value)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20xytext%3D(0%2C%208)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20textcoords%3D%22offset%20points%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20ha%3D%22center%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20fontsize%3D8%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20_power_axes%5B1%5D.set(%0A%20%20%20%20%20%20%20%20title%3Drf%22Selected%20%24M_p%3D%7Bselected_power_mean%3A.3g%7D%24%20at%20%24p%3D%7B_selected_power_order%3A.1f%7D%24%22%2C%0A%20%20%20%20%20%20%20%20xlabel%3Dr%22order%20%24p%24%22%2C%0A%20%20%20%20%20%20%20%20ylabel%3Dr%22power%20mean%20%24M_p%24%22%2C%0A%20%20%20%20%20%20%20%20xlim%3D(-2.05%2C%202.05)%2C%0A%20%20%20%20)%0A%20%20%20%20for%20_power_axis%20in%20_power_axes%3A%0A%20%20%20%20%20%20%20%20_power_axis.grid(alpha%3D0.25)%0A%20%20%20%20fig_power_means.suptitle(%0A%20%20%20%20%20%20%20%20f%22Power-mean%20ordering%20%C2%B7%20spectral%20flatness%20%3D%20%7Bspectral_flatness%3A.3f%7D%22%2C%0A%20%20%20%20%20%20%20%20fontweight%3D%22bold%22%2C%0A%20%20%20%20%20%20%20%20y%3D1.03%2C%0A%20%20%20%20)%0A%20%20%20%20fig_power_means.tight_layout()%0A%20%20%20%20fig_power_means%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20arithmetic_mean%2C%0A%20%20%20%20%20%20%20%20geometric_mean%2C%0A%20%20%20%20%20%20%20%20harmonic_mean%2C%0A%20%20%20%20%20%20%20%20rms_mean%2C%0A%20%20%20%20%20%20%20%20spectral_flatness%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20power_mean_summary(%0A%20%20%20%20arithmetic_mean%2C%0A%20%20%20%20geometric_mean%2C%0A%20%20%20%20harmonic_mean%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20rms_mean%2C%0A%20%20%20%20spectral_flatness%2C%0A)%3A%0A%20%20%20%20_flatness_reading%20%3D%20(%0A%20%20%20%20%20%20%20%20%22white-like%3A%20little%20spectral%20structure%20to%20predict%22%0A%20%20%20%20%20%20%20%20if%20spectral_flatness%20%3E%200.8%0A%20%20%20%20%20%20%20%20else%20%22moderately%20structured%22%0A%20%20%20%20%20%20%20%20if%20spectral_flatness%20%3E%200.35%0A%20%20%20%20%20%20%20%20else%20%22peaky%20and%20comparatively%20predictable%22%0A%20%20%20%20)%0A%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**Harmonic%20%7Bharmonic_mean%3A.3f%7D%20%E2%89%A4%20geometric%20%7Bgeometric_mean%3A.3f%7D%20%E2%89%A4%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22arithmetic%20%7Barithmetic_mean%3A.3f%7D%20%E2%89%A4%20RMS%20%7Brms_mean%3A.3f%7D.**%20%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22The%20spectral%20flatness%20is%20**%7Bspectral_flatness%3A.3f%7D**%20%E2%80%94%20%7B_flatness_reading%7D.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20kind%3D%22success%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20recap(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20What%20to%20take%20away%0A%0A%20%20%20%20-%20An%20expectation%20is%20a%20**weighted%20area**%2C%20not%20the%20outcome%20of%20one%20experiment.%0A%20%20%20%20-%20A%20sample%20average%20is%20an%20estimator%20of%20that%20area%3B%20convergence%20can%20be%20slow%20when%20a%20few%20samples%0A%20%20%20%20%20%20dominate%20a%20high-order%20moment.%0A%20%20%20%20-%20Jensen%20compares%20averaging%20before%20and%20after%20a%20nonlinear%20map.%20The%20sign%20of%20its%20gap%20is%20controlled%0A%20%20%20%20%20%20by%20curvature.%0A%20%20%20%20-%20The%20ordering%20of%20power%20means%20is%20the%20same%20result%20in%20another%20form.%20Applied%20across%20frequency%2C%20its%0A%20%20%20%20%20%20geometric-to-arithmetic%20gap%20measures%20spectral%20flatness%20and%20therefore%20predictability.%0A%0A%20%20%20%20A%20useful%20experiment%3A%20select%20the%20Laplace%20distribution%2C%20raise%20the%20moment%20order%20to%20six%2C%20and%20watch%0A%20%20%20%20both%20the%20moment%20integrand%20and%20the%20Monte%20Carlo%20influence%20curve%20change.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A