Seminario pubblico di Saverio Salzo
In ottemperanza ai requisiti previsti dalla procedura valutativa ai fini
della chiamata a Professore di II Fascia ai sensi dell’art. 24, comma 5 L.
240/2010 per il Settore Concorsuale 01/MAT-06 (ex 01/A6) – Settore
Scientifico Disciplinare MATH-06 (ex MAT/09) presso il Dipartimento di
Ingegneria informatica, automatica e gestionale Antonio Ruberti, il giorno
giovedì 6 marzo 2025 alle ore 10:00
Saverio Salzo a seguito dell'esito positivo ottenuto nella procedura, terrà
presso questo dipartimento un seminario sulle attività di ricerca svolte e
in corso di svolgimento, in presenza presso l'aula B203 del DIAG
Titolo:
Stochastic gradient-based approaches to bilevel optimization for machine learning
Abstract:
In recent years, gradient-based approaches to bilevel optimization have gained significant interest in the machine learning community due to their efficiency and effectiveness in solving a variety of machine learning-related problems. I will present a general class of bilevel problems in which the upper-level problem involves minimizing a smooth objective function, while the lower-level problem aims to find the fixed point of a smooth contraction map. This class of problems encompasses instances of meta-learning, equilibrium models, hyperparameter optimization, and data poisoning adversarial attacks. I will describe a simple method that employs stochastic fixed-point iterations at the lower level and projected inexact gradient descent at the upper level, achieving optimal sample complexity. Finally, I will address the setting in which the lower-level problem is nonsmooth. This scenario requires efficiently computing a generalized derivative of the fixed point of a parametric nondifferentiable contraction map. A key challenge here is that the chain rule and implicit function theorem no longer hold. Based on recent advances in nonsmooth optimization, I will present preliminary results providing convergence rates for deterministic and stochastic approximation methods for the implicit generalized derivative.
Bio sketch:
Saverio Salzo si laurea con lode in Matematica (indirizzo Generale) nel 2001, presso l'Università degli Studi di Bari. Successivamente lavora in azienda occupandosi di ricerca e di sviluppo software in ambito spaziale, collaborando a progetti dell'agenzia spaziale italiana e dell'agenzia spaziale europea. Nel 2012 consegue il dottorato di ricerca in Computer Science presso l'Università degli studi di Genova. Dal 2013 al 2015 è titolare di assegni di ricerca presso il dipartimento di Informatica e di Matematica dell'Università degli Studi di Genova. Dal 2016 al 2017 è postdoc presso il Laboratory for Computational and Statistical Learning dell'Istituto Italiano di Tecnologia. Dal 2018 al 2021 è ricercatore presso l'Istituto Italiano di Tecnologia nel gruppo di Computational Statistics and Machine Learning. E' stato visiting scholar presso la KU Leuven in Belgio e dal 2020 al 2022 è stato Honorary Lecturer presso University College London.
Ha insegnato introduzione all'ottimizzazione convessa nel programma di dottorato in Ingegneria Informatica e Matematica all'Università di Genova e Introduction to Convex Optimization for Machine Learning per il Master in Machine Learning, presso il Computer Science Department, University College London, UK.
Al momento insegna il corso di base di Fondamenti di Matematica per il corso di laurea in Ingegneria Informatica e Automatica presso la Sapienza di Roma.
I suoi interessi di ricerca si focalizzano sui metodi di ottimizzazione convessa e non liscia, metodi di splitting prossimale, algoritmi stocastici, ottimizzazione bilivello per machine learning, ottimizzazione in spazi di probabilità, support vector machines in spazi di Banach e metodi kernel tensoriali. Ha pubblicato più di 30 lavori su riviste e conferenze di alto livello in ottimizzazione e machine learning. Su Google Scholar ha più di 2000 citazioni e h-index 15, mentre su Scopus ha circa 800 citazioni e h index 12.