Libero e Virgilio mail: ripristinate anche tutte le funzionalità accessorie. Sì ai ristori


Comunichiamo ai nostri utenti che – dopo il superamento del disservizio e la riapertura di tutte le caselle in modo progressivo a partire dal 26 gennaio – si è concluso anche il processo di ripristino di tutte le funzionalità accessorie delle Libero Mail e Virgilio Mail e anche l’accesso alle e-mail tramite Libero Mail App è da ieri pienamente disponibile per le utenze iOS.

Rimane attivo, per tutti coloro che ne avessero necessità, il numero verde 800 591 829, potenziato in questi giorni a causa del fisiologico aumento di chiamate; le colleghe e i colleghi proseguono nel lavoro di fornire a ciascun utente il supporto necessario.

Con il pieno ritorno alla normalità, si conferma l’intenzione di fornire un ristoro all’utenza coinvolta nel disservizio, con modalità diverse a seconda dei servizi sottoscritti. Le tipologie di ristoro saranno comunicate nei prossimi giorni attraverso messaggi recapitati alle caselle e-mail di tutti i nostri utenti.

A conclusione della vicenda, rinnoviamo le scuse ai nostri utenti e confermiamo che la nostra priorità è stata, dal primo giorno del disservizio, quella di tutelare l’integrità dei dati dei milioni di italiani che da anni sono nostri utenti. Il nostro bene più prezioso.

LE RISPOSTE ALLE DOMANDE PIU’ FREQUENTI DEGLI UTENTI

Ho ricevuto un SMS “Libero/Virgilio” che mi chiede di confermare/riattivare la casella di posta
È un SMS di Phishing. Libero/Virgilio non stanno inviando alcun SMS agli utenti.
Non cliccare l’SMS e cancellalo!

Ho ricevuto una E-MAIL che mi chiede di “cliccare” per “eseguire la migrazione della mail” o per “confermare/riattivare” la casella di posta o per inserire i miei dati. Oppure mi offre un iPad
Si tratta una EMAIL di PHISHING. Libero/Virgilio non inviano e non invieranno agli utenti alcun messaggio di posta, con la richiesta di “cliccare” per migrare, piuttosto che confermare la riattivazione della casella di posta o inserire dati personali. Non fidarti di questi messaggi: non cliccare nulla e cancellali!
Ti informiamo inoltre che è in corso un tentativo di phishing, con cui si promettono iPad (o altri dispositivi) in regalo agli utenti Libero/Virgilio. Ti invitiamo a non cliccare e a rileggere i nostri consigli su come tutelarsi dal phishing

Ho visto che sul web ci sono moduli per richiedere il risarcimento danni
Fermo restando che la società sta analizzando casistiche e modalità di indennizzo per il disservizio e i disagi subiti, suggeriamo comunque di prestare la massima attenzione a questi moduli in quanto potrebbe trattarsi di canali di comunicazione attraverso i quali si profilano utenti per iniziative commerciali non riconducibili in alcun modo alla nostra società che sta comunicando esclusivamente attraverso i propri touchpoint ufficiali.

Libero e Virgilio PEC funzionano?
Libero e Virgilio PEC funzionano da sempre regolarmente.

I messaggi di questi giorni arrivano nella mail? E li troverò quando avrò di nuovo pieno accesso alla mail?
Abbiamo lavorato in queste ore per tutelare l’integrità dei dati dei nostri utenti. Per le e-mail ricevute su Libero mail e Virgilio Mail durante il disservizio, abbiamo ricevuto e memorizzato le e-mail che venivano inviate agli indirizzi dei nostri clienti sino alla massima scadenza possibile, e stiamo tuttora provvedendo a recapitare i messaggi ricevuti ancora in “coda” nelle rispettive caselle di posta, mentre dopo di questa i nostri server hanno inviato un messaggio di mancato recapito al mittente, in modo simile a quanto accade a “casella piena”. Abbiamo inoltre interrotto il servizio SMTP dalle ore 16 del giorno 23 gennaio u.ss.
Per quanto riguarda la sorte delle e-mail dopo che il messaggio di mancata consegna è stato recapitato, la stessa dipende dal comportamento dei provider di posta che hanno gestito il traffico delle e-mail in entrata su Libero mail e Virgilio Mail una volta ricevuto il nostro messaggio di mancato recapito e gli scenari possono essere diversi a seconda delle configurazioni tecniche di ciascun provider (sul punto, si leggano le maggiori specifiche tecniche nella FAQ successiva); di norma e secondo le consuetudini, i provider dovrebbero tentare il re-invio in automatico in caso di problematiche (come ad esempio la casella piena) e anche i moderni sistemi automatizzati sono di norma programmati per tentare ri-invii. Tuttavia, non tutti i servizi di spedizione di posta seguono le medesime linee guida e procedure, e taluni potrebbero non implementare le best-practice più diffuse.

Potreste dare una spiegazione più tecnica e precisa su quali messaggi riceverò e quali invece non sarà possibile ricevere?
I protocolli di posta elettronica sono articolati e necessitano di concertazione – soprattutto in caso di malfunzionamenti – tra i server riceventi (in questo caso quelli di Italiaonline) e quelli emittenti.
Diversi sono gli scenari possibili, principalmente divisi in due periodi temporali: dall’inizio dell’incidente alle h.16.00 circa di Lunedì 23 Gennaio, e da questa data in poi.
Per le mail inviate verso utenti di Italiaonline tra l’inizio dell’incidente e circa le 16 del Lunedì 23, la massima parte di queste sono state accettate dai nostri server ed accodate in attesa di poter essere in grado di consegnarle alle rispettive caselle. Il tempo di attesa in questa coda, però, è soggetto a precisi limiti temporali, chiamati “timeout di attesa“, che abbiamo provveduto ad estendere quanto più possibile per essere in grado di minimizzare il disagio ai nostri clienti. In queste ore stiamo provvedendo a recapitare queste mail nelle rispettive caselle degli utenti o a spedire al mittente una mail di notifica di mancata consegna, in modo che nessuna di queste rimanga senza risposta.
La situazione è invece differente per le mail inviate verso utenti di Italiaonline dopo le h.16.00 di Lunedì 23 Gennaio: durante il riavvio e ripristino del servizio, infatti, l’invio delle mail potrebbe aver ricevuto tre differenti errori: mancata connessione, errore 550 o errore 452.
Una volta raggiunta la soglia critica di carico oltre il quale i nostri sistemi non erano in grado di accodare ulteriori mail, i messaggi sono stati direttamente rifiutati dai nostri server bloccando le connessioni esterne: per queste mail la mail di notifica mancata consegna è normalmente generata dal server di provenienza.
Le mail ricevute durante le operazioni di riavvio tra la sera del 25 Gennaio e le h.13.00 del 26 Gennaio, al tentativo di consegna hanno ricevuto la risposta 550 (“destinatario non valido”, “utente sconosciuto” o “dominio inesistente”): in questo caso, al nostro rifiuto, il server mittente dovrebbe aver generato una mail di notifica mancata consegna.
Le mail che si è tentato di consegnare dopo le h13:00 del 26/1 potrebbero aver ricevuto al tentativo di consegna la risposta 452 (“troppi destinatari” oppure “mailbox piena”) e sono invece rimaste nella coda ai server mittenti secondo i tempi massimi previsti, impostati dai relativi gestori. Per queste ultime, le possibilità sono le due seguenti: se prima della data di scadenza impostata dai gestori del server mittente sono riuscite a raggiungere i nostri server di posta, risulteranno consegnate, mentre, se dovessero superare tali tempistiche, saranno da quest’ultimo scartate ed una mail di notifica di mancata consegna dovrebbe giungere al mittente.
In ogni caso, salvo comportamenti non standard di server remoti dei mittenti, tutte le mail sono state o accettate dai nostri server (e saranno gradualmente consegnate durante le operazioni di ripristino della coda di consegna nelle prossime ore), oppure hanno generato una notifica di errore al server mittente.

Non ho potuto accedere alla posta dove ho documenti importanti e/o bancari, bollette o opportunità di lavoro che sto coltivando
Abbiamo lavorato in queste ore per tutelare l’integrità dei dati dei nostri utenti. Per i messaggi inviati da altri provider ricevuti su Libero mail e Virgilio Mail, gli scenari possono essere diversi a seconda delle configurazioni dei servizi di invio posta di ciascuno; di norma, in caso di problematiche (come ad esempio la casella piena), queste configurazioni dovrebbero consentire il re-invio, anche per i servizi automatici, quali quelli di invio di pagamenti o bollette o altri servizi informativi/di notifiche (cd servizi ”no reply”). Tuttavia, non tutti i servizi di spedizione di posta seguono le medesime linee guida e procedure, e taluni potrebbero non implementare le best-practice più diffuse.

Sarà pubblicato un incident report?
Ulteriori dettagli tecnici saranno forniti una volta risolto completamente il problema e completata l’analisi dell’incidente con l’ausilio del fornitore del sistema operativo che ha causato il disservizio.

Si tratta di un attacco hacker?
No, si è trattato di un bug del sistema operativo dello storage, sviluppato da un fornitore terzo, che ne ha compromesso il corretto funzionamento e di conseguenza il servizio e-mail. I dati sono sempre rimasti nella disponibilità di Italiaonline e conservati, per le funzionalità del servizio, sempre integri e in sicurezza; non c’è stato alcun accesso fraudolento di terzi.

Abbiamo problemi a inserire gli indirizzi di posta @libero.it o virgilio.it nelle nostre comunicazioni o newsletter!
Alcuni sistemi di posta elettronica potrebbero aver avuto problemi a consegnare e di conseguenza inibito anche l’inserimento degli indirizzi Libero.it e Virgilio.it in distribution list relative a servizi di invio su larga scala, quali newsletter. Con la normalizzazione dei servizi anche queste problematiche dovrebbero rientrare.

Potrò ritrovare le mail archiviate o pregresse?
La lettura dei dati sullo storage affetto dal disservizio, per la durata della problematica, non è stata possibile in quanto inaccessibile. Tuttavia, usando la APP, gli utenti hanno potuto vedere le proprie email con una determinata profondità storica (30 giorni): questo perché le stesse erano memorizzate non si nostri sistemi, ma sul proprio dispositivo in quella porzione di memoria che tecnicamente viene chiamata “cache”. Questo meccanismo ha il beneficio di consentire l’accesso rapido ai propri dati recenti sul telefono limitando l’uso della connessione di rete. Se si necessita di dati con profondità storica superiore il dispositivo deve invece accedere ai dati centrali, cosa che in questo periodo non è stata possibile. La Webmail non utilizza questi meccanismi di cache e legge direttamente tutto il contenuto dai dati centrali.
I dati sono sempre comunque rimasti nella disponibilità di Italiaonline e conservati, per le funzionalità del servizio, sempre integri e in sicurezza; saranno nuovamente disponibili non appena il disservizio rientrerà, e nelle ore seguenti saranno consegnate le mail ricevute dai nostri server ancora in coda.

Non avete testato il sistema? E perché non si è passati al vecchio storage per riaprire le caselle più in fretta?
In considerazione delle dimensioni della base dati (circa 4 PB), la grande quantità dei file e dell’elevata transazionalità del workload applicativo (in altre parole: l’enorme quantità di piccoli accessi e modifiche che vengono effettuati contemporaneamente), il sistema che è stato investito dal bug era stato oggetto negli scorsi mesi di prove intensive sia funzionali che di carico hanno preceduto la migrazione delle caselle mail dal vecchio al nuovo storage. Tali simulazioni sono avvenute col presidio di monitoraggio congiunto di Italiaonline e del vendor e messe in produzione solamente dopo la validazione funzionale del fornitore dell’applicativo. La migrazione ha avuto inizio l’ultima settimana di Novembre 2022 e al momento dell’incidente circa il 75% delle caselle risultano migrate con successo su nuovo storage senza che nel loro spostamento si sia mai verificato alcun tipo di problema.
Fermo restando che un report definitivo sull’incidente deve essere ancora prodotto dal vendor, il disservizio è stato causato dal raggiungimento di una soglia di allarme da parte di un parametro nascosto del sistema operativo dello storage, inaccessibile a Italiaonline. L’innalzamento del valore non sembra essere direttamente correlato ai volumi, alle modalità di migrazione, al carico o alla tipologia di workload e per questo motivo viene classificato dal vendor come bug e non poteva essere oggetto di test specifici o di simulazioni atte a verificarne il comportamento. Oltretutto il parametro in oggetto è noto solo al produttore e non è documentato. IOL non poteva dunque conoscerne la presenza ed il significato nel contesto delle operazioni sia di simulazione e test che in produzione, che non hanno mostrato anche sotto intensi carichi il medesimo comportamento.
Riaprire anche solo temporaneamente il servizio sul vecchio storage per tutte le caselle non era una soluzione percorribile perché gli utenti delle mail già migrate sul nuovo storage non avrebbero avuto la disponibilità delle mail ricevute a valle della data di migrazione della loro casella. Un ripristino delle caselle da backup non avrebbe dato il risultato atteso: il malfunzionamento del parametro ha reso indisponibile lo storage primario mentre una restore sul vecchio storage avrebbe comportato RTO (recovery time objective) elevati e ad un RPO (recovery point objective) non pari a zero, con conseguente rischio di perdita operazioni (in altre parole avrebbe richiesto più tempo per meri volumi di quello che è stato necessario per risolvere la problematica e avrebbe potuto comportare problemi di dati solo parzialmente presenti).

Prevedete un indennizzo?
Una volta chiuso l’incidente, saranno analizzate casistiche e modalità di indennizzo per il disservizio e i disagi subiti.