ADVANCES IN MEAN-FIELD OPTIMAL CONTROL VIA DYNAMIC PROGRAMMING EQUATIONS

In questa tesi di dottorato ci proponiamo di analizzare varie classi di problemi di controllo ottimo di tipo McKean-Vlasov con un approccio analitico, che consiste nella caratterizzazione della funzione valore di ciascun problema mediante un'opportuna equazione alle derivate parziali, detta equazione di Hamilton-Jacobi-Bellman (HJB). Poiché i coefficienti di un'equazione stocastica di McKean-Vlasov dipendono non solo dalle traiettorie della soluzione, ma anche dalla sua legge, l'equazione di HJB associata è definita sullo spazio di Wasserstein delle misure di probabilità di momento secondo finito P2(Rd). In questa tesi, la buona positura di tale equazione in senso viscoso è sempre analizzata direttamente sullo spazio di Wasserstein; non ricorriamo pertanto al lifting dell'equazione su uno spazio di Hilbert di variabili aleatorie di quadrato sommabili, in contrasto con una parte della letteratura su questo argomento. Nel primo capitolo della tesi, formuliamo e analizziamo un problema di controllo ottimo di tipo McKean-Vlasov con orizzonte temporale infinito e funzionale di guadagno scontato. Il problema è ben posto sotto ipotesi standard per i coefficienti dell'equazione di stato, la funzione di guadagno e il fattore di sconto β. Innanzitutto, dimostriamo che la funzione valore non dipende dal tempo iniziale della dinamica. Questa proprietà, spesso considerata naturale per problemi con orizzonte temporale infinito e fattore di sconto, non è invece banale in presenza di effetti di campo medio: in particolare, esibiamo un esempio in cui la proprietà non vale a causa della dipendenza non lineare della funzione di guadagno dalla legge del processo di stato. Tuttavia, assumendo che la funzione di guadagno sia sufficientemente regolare, estendiamo questa proprietà di invarianza temporale al nostro problema di tipo McKean-Vlasov. Successivamente, mostriamo che la funzione valore dipende dalla condizione iniziale della dinamica solo mediante la sua legge. Il valore del problema può dunque essere identificato con una funzione v indipendente dal tempo e definita su P2(Rd). Infine, sullo stesso spazio deriviamo un'opportuna equazione ellittica di Hamilton-Jacobi-Bellman e caratterizziamo completamente la funzione valore v come l'unica soluzione viscosa di tale equazione. Il secondo capitolo presenta un problema di controllo ottimo con la stessa dinamica di tipo McKean-Vlasov su orizzonte temporale infinito, ma un funzionale di guadagno in forma ergodica. Sotto opportune ipotesi di dissipatività, le soluzioni dell'equazione di stato soddisfano condizioni forti di stabilità rispetto alle condizioni iniziali, dette stime ergodiche. Basandoci su una famiglia di problemi di controllo ausiliari con funzionale di guadagno scontato, costruiamo un valore reale λ e una funzione φ: P2(Rd) → R che costituiscono una soluzione viscosa di un'equazione ellittica, detta equazione ergodica di HJB, sullo spazio P2(Rd). Inoltre, dimostriamo che la coppia (λ,φ) caratterizza il comportamento asintotico delle funzioni valore associate a problemi di controllo ottimo di tipo McKean-Vlasov ad orizzonte temporale finito quando quest'ultimo tende all'infinito e delle funzioni valore associate a problemi di controllo ottimo di tipo McKean-Vlasov ad orizzonte temporale infinito con fattore di sconto quando questo tende a 0. Infine, identifichiamo λ con il valore del problema di controllo ergodico, dimostrando che esso è costante. Presentiamo poi un teorema di verifica che permette di costruire controlli ottimi per il problema ergodico a partire da soluzioni dell'equazione di HJB ergodica. A differenza di quanto proposto da altri autori, non deriviamo l'equazione ergodica di HJB usando proprietà di stabilità di soluzioni viscose di PDE ellittiche, ma tutti i nostri risultati principali seguono da una relazione funzionale soddisfatta dalla coppia (λ,φ). Il terzo capitolo presenta alcuni risultati preliminari riguardanti un problema di controllo ottimo di tipo McKean-Vlasov con osservazione parziale: la dinamica è infatti influenzata da ua catena di Markov M a tempo continuo e spazio degli stati finito che non è osservata dall'agente. L'analisi del problema richiede dunque tecniche di filtraggio, basate su un problema di controllo ausiliario, detto problema separato, con un'equazione di stato controllata a valori nello spazio delle misure positive (l'equazione di Zakai). Tale equazione si può poi riscrivere come una SDE a valori in RN, dal momento che la catena può assumere solo un numero finito N di valori. Adottando questo approccio, a causa della presenza di effetti di campo medio nel problema originale, otteniamo un problema di controllo di tipo McKean-Vlasov non standard, i cui coefficienti dipendono dalla legge congiunta del processo di stato e del moto Browniano. Studiamo dunque la buona positura di tale problema e la stabilità delle soluzioni dell'equazione di stato rispetto alle condizioni iniziali e dimostriamo che esso è equivalente ad una versione debole del problema originale. Presentiamo infine gli sviluppi futuri di questa ricerca, ricordando che intendiamo adottare un approccio di tipo analitico al problema, che porti alla caratterizzazione del valore mediante un'opportuna equazione di HJB su uno spazio di Wasserstein.

Grantor dc:publisher

Università degli Studi di Milano

Year dc:date

2026

Author dc:creator

• RUDA', SILVIA

Contributors dc:contributor

• tutor: M. A. Fuhrman ; co-tutor: A. Cosso ; coordinatore del corso di dottorato: G. Ciraolo
• S. Ruda'
• FUHRMAN, MARCO ALESSANDRO
• CIRAOLO, GIULIO

• McKean-Vlasov SDE
• mean-field optimal control
• dynamic programming principle
• viscosity solution
• Hamilton-Jacobi-Bellman equations on Wasserstein space
• ergodic control
• partially observed Mckean-Vlasov systems
• Settore MATH-03/B - Probabilità e statistica matematica

Statement dc:rights

• info:eu-repo/semantics/openAccess
• license:Creative commons
• license uri:http://creativecommons.org/licenses/by-sa/4.0/

Language dc:language

eng

Handle dc:identifier

https://hdl.handle.net/2434/1218755

OAI identifier oai:identifier

oai:air.unimi.it:2434/1218755