skip to main | skip to sidebar
37 commenti

Dovete spostare petabyte di dati? Col camion si fa prima, parola di Amazon

Nel 2001 scrissi un articoletto che segnalava il fatto che già allora Linux, a differenza di Windows XP, aveva iniziato a supportare file singoli con dimensioni fino a 144 petabyte (un petabyte equivale a mille terabyte o un milione di gigabyte; in pratica, mille dei dischi rigidi standard di oggi). All’epoca la notizia aveva suscitato qualche ecchissenefrega, visto che l’idea di file così colossali pareva remota.

Ma gli anni passano, la tecnologia galoppa, e così già nel 2013 segnalavo vari casi pratici di aziende e centri di ricerca che generavano petabyte di dati (suddivisi però in file multipli e non in un singolo file). Oggi le aziende di questo genere sono aumentate e hanno un problema: trasferire queste quantità inimmaginabili di dati.

Gizmodo e Wired spiegano che Amazon ha introdotto da poco un servizio per il trasferimento di grandi quantità di dati tramite camion, perché è più veloce che farlo via Internet.

Può sembrare assurdo, ma considerate che un singolo autoarticolato di Amazon Web Services, chiamato Snowmobile, contiene fino a 100 petabyte, ossia abbastanza da contenere cinque copie integrali dell’Internet Archive, ossia non solo di tutta l'Internet attuale, ma anche di tutte le sue versioni passate e archiviate. E ci sono aziende come DigitalGlobe, che collezionano e vendono immagini satellitari di tutto il pianeta per consentire rilievi, tracciamenti e statistiche, che hanno petabyte di dati da salvare e spostare: DigitalGlobe, per esempio aggiunge ai propri archivi 100 terabyte di dati al giorno.

"Caricare" di dati un camion da 100 petabyte richiede una decina di giorni, e ci vuole altrettanto tempo per scaricarli, mentre il viaggio fisico dei dati da una costa degli Stati Uniti a quella opposta richiede circa 45 ore. Cento petabyte, insomma, vengono trasferiti tramite camion in circa 22 giorni. La stessa quantità di dati, trasferita tramite servizi Internet ad alta velocità come Google Fiber (1 gigabit al secondo), richiederebbe quasi trent'anni. Le connessioni sperimentali più veloci oggi disponibili (circa 1 terabit/secondo) permetterebbero di trasferire 100 petabyte in una decina di giorni, ma sono appunto sperimentali e non funzionano su lunghe distanze. Per cui il camion batte Internet.
Invia un commento
I commenti non appaiono subito, devono essere tutti approvati manualmente da un moderatore a sua discrezione: è scomodo, ma è necessario per mantenere la qualità dei commenti e tenere a bada scocciatori, spammer, troll e stupidi.
Inviando un commento date il vostro consenso alla sua pubblicazione, qui e/o altrove.
Maggiori informazioni riguardanti regole e utilizzo dei commenti sono reperibili nella sezione apposita.
NOTA BENE. L'area sottostante per l'invio dei commenti non è contenuta in questa pagina ma è un iframe, cioè una finestra su una pagina di Blogger esterna a questo blog. Ciò significa che dovete assicurarvi che non venga bloccata da estensioni del vostro browser (tipo quelle che eliminano le pubblicità) e/o da altri programmi di protezione antimalware (tipo Kaspersky). Inoltre è necessario che sia permesso accettare i cookie da terze parti (informativa sulla privacy a riguardo).
Commenti
Commenti (37)
Poi ci sono io con una misera 7mb che alla sola idea di scaricare 50/60gb per un gioco (versione digitale, da Steam) mi viene male ahaha, per scaricare 100PB mi ci vorrebbe qualcosa tipo 20/30 vite complete
Hai voglia... Con le ADSL italiane medie, appena sei fuori dalle grandi città l'IP over avian carrier diventa una valida alternativa!
https://tools.ietf.org/html/rfc1149
come diceva un mio prof : "mai sottovalutare la banda passante di un camion carico di hd lanciato a tutta velocità in autostrada" :D
Segnalo questo interessante post di Randall Munroe (XKCD) che analizza, a modo suo, il tema della movimentazione dati--> https://what-if.xkcd.com/31/
"Never underestimate the bandwidth of a station wagon full of tapes hurtling down the highway."
Andrew S. Tanenbaum, Computer Networks, 3rd ed., p. 83. (paraphrasing Dr. Warren Jackson, Director, University of Toronto Computing Services (UTCS) circa 1985)
Insomma, una specie di gigantesca flash drive con le ruote :D
Si chiama "Principio di Tanenbaum", da Andrew S. Tanenbaum che nel 1985, nel suo libro Computer Networks, scrisse:

Never underestimate the bandwidth of a station wagon full of tapes hurtling down the highway

Quando studiammo da quel libro quella frase ci venne da sorridere. Poi un giorno, una decina di anni fa, trovandomi a dover inviare 500MB di dati a un collega, mi accorsi che ci avrei messo molto meno a masterizzare un CD e andare a piedi a casa sua (viveva a 500 metri da me) che a mandarglielo via Internet. E così feci.
"Never underestimate the bandwidth of a station wagon full of tapes hurtling down the highway."

Andrew Tanenbaum, ca. 1985.

Ancora attuale a quanto vedo!
Quindi, se non ho fatto male i conti e prendendo per buone le mie ipotesi, un camion di amazon ha una larghezza di banda di circa 5 Tb/s; immaginando che il camion viaggi a una media di 80 km/h, cioè circa 22.2 m/s, abbiamo circa 225 Gb/m che equivalgono a circa 28 GB/m.
Ipotizziamo che il camion sviluppi 400000 W di potenza e debba percorrere un metro, abbiamo due possibilità:
1) circa 0.00007 GB/W
2) poco più di 11000000 GBW
Quali saranno i famosi "gigabyte di watt"?

Vorrei inoltre porre l'attenzione sul fatto che possiamo aumentare la larghezza di banda del camion eliminando i limiti di velocità.
Quindi significa che la tecnologia usata per trasferire i dati dal camion al datacenter, immagino poche decine di metri, non è disponibile per distanze più lunghe.
Non ci vedo una grande notizia. I grossi database vengono spostati "fisicamente" e non tramite rete, da molto tempo.
Vecchio intramontabile assunto della Rete: "Mai sottovalutare l'ampiezza di banda di un'auto carica di Hard Disk che corre sull'autostrada".
Figuriamoci quella di un TIR. :)
Come disse Tanenbaum: "Non sottovalutate la banda passante di un camion pieno di dischi"
Questo mi ricorda un articolo che lessi -credo- più di vent'anni fa, in cui si diceva che un piccione viaggiatore era più veloce di internet a portare i dati. L'esperiemnto era stato fatto in Israele -se non ricordo male-.
Alla zampa di un piccione venne legata una chiavetta usb da ben (per allora) 516MB (o forse era 1Gb)e venne mandato a destinazione, contemporanemanete gli stessi dati vennero inviati via modem (quelli di una volta, senza cavi ethernet, senza fibra ottica, giusto un passo oltre la cornetta attaccata al "dispositivo"). I dati via internet finirono di arrivare qualche giorno dopo l'arrivo del piccione.
Oggi 1Gb si scarica in pochissimo tempo, le chiavette usb più scarse che trovi nei sacchetti di patatine sono da minimo 1Gb... quindi chissà, magari fra qualche anno anche trasferire i petabyte via internet non sarà tanto assurdo.
Questo mi ricorda una cosa che lessi sul libro di reti all'Università tanto, troppo,tempo fa.

Nel libro c'era un capitolo dove veniva spiegata la differenza tra velocità di trasmissione e latenza e venivano fatte le stesse considerazioni di questo articolo. Ricordo ancora la frase con la quale terminava il capitolo:

"Non sottovalutare la banda di un camion pieno di DVD che sfreccia sull'autostrada."
Pesa di più un camion con 100 petabyte di dati di un'acciaeria oppure un camion con 100 petabyte di dati di una fabbrica di piume d'oca?
Mi fa piacere constatare che, anche col passare degli anni, le teorie rimangono valide. Ne parlavi già qui, ti ricordi?
http://attivissimo.blogspot.it/2014/01/e-piu-veloce-spedire-un-disco-rigido-o.html?m=1
Ricordo un vecchio articolo su una rivista (direi di videogiochi ma potrei sbagliarmi) in cui si faceva lo stesso esempio, riempiendo il retro di una familiare (di marca sconosciuta ...) con delle schedine SD: se ai tempi si parlava di kilobit al secondo (640, per dire) la macchina era almeno 1000 volte più rapida !
Ricordo che Andrew S. Tanenbaum scriveva nel suo libro "Computer Networks" (1981): “Mai sottovalutare l'ampiezza di banda di una station wagon piena di nastri lanciata a tutta velocità lungo l'autostrada”. Qualcuno l'ha evidentemente preso alla lettera :)
"Never underestimate the bandwidth of a station wagon full of tapes" 😂
Nel mondo dell'IT si chiama "la banda dell'autostrada", e' un metodo usato piu' di quanto si possa immaginare.

Certo, in rounf trip di un payload su camion e' un po' lungo, ma e' un tipo di trasporto dati che non si usa quando il protocollo richiede una raffica di ACK :)
Il tuo articolo mi ha ricordato una famosa citazione a riguardo viene da Andrew Tanenbaum, un importante e famoso computer scientist, che negli anni 80 disse:

"Never underestimate the bandwidth of a station wagon full of tapes hurtling down the highway."

La citazione e' perfettamente valida anche ora, sostituendo i nastri con hardisk, o magari con microSD cards! :)

XKCD ci ha fatto un WhatIf apposta:
https://what-if.xkcd.com/31/
"Never underestimate the bandwidth of a station wagon full of tapes hurtling down the highway." (A.S. Tanenbaum, 1981)

Visto che ci siamo, anche un doveroso riferimento a xkcd: https://what-if.xkcd.com/31/
Never underestimate the bandwidth of a station wagon full of tapes hurtling down the highway.
–Andrew Tanenbaum, 1981
A parte il quesito di Stupidocane sul chilo di paglia e il chilo di ferro, mi chiedo che se ne faccia Amazon di questi Fantastiliardi di dati.
Sono sempre più contento di non essere iscritto, visto che Amazon ti chiede vita morte e miracoli, prima di farti comprare qualcosa.
Dipende se l'acciaieria usa o no nastri perforati.

1 kb di nastro perforato in fortran pesa 20,53 grammi se son 8192 zeri, credo 17 grammi circa se son 8192 menovaloreassolutodiuni. (165g/mq)
Facciamo 18,5... 1MB di nastro perforato pesa circa 19 kg, 1 GB 19 tonnellate e 400 kg circa... (E siam arrivati al sottobicchiere: 1 camion as sottobicchiere si conta come 26 tonnellate) 1 TB 19'864 tonnellate e un quarto (circa) 1PB 20'340'965 tonnellate, 100 PB 2'034'096'500 tonnellate... 8 milioni di sottobicchieri. Dunque, un sottobicchiere occupa 22,15411 mq circa... quindi immaginando di impilarne 8 uno sopra l'altro... 100 petabyte di nastro perforato starebbero abbastanza comodamente in 22 km quadrati, in una pila alta 20,72 metri.

Volevo calcolare l'overrun dei sottobicchieri ma mi è scoppiato il pallottoliere. Comunque un sottobicchiere è lungo 9,125m largo 2,44m e alto 2,59 m

100 petabyte... è un sottobicchiere da sumo. Deve essere il sottobicchiere di Boris Yeltzin o come cavolo si scrive.
Con la mia connessione (7 mega moooolto teorici, li vedo solo in piena notte) il camion è una buona opzione anche per trasferire le decine di GB, altro che petabytes.

La cosa che mi fa più rabbia è che ufficialmente dovrei avere la mitica Fibrah Superveloceh; $ex_monopolista mi ha anche appeso (sì, appeso) un flyer alla porta di casa che diceva "la Fibrah è finalmente arrivata a casa tua".

Poi li chiamo e mi dicono che non è ancora attiva nella mia zona, ci vorrà qualche mese. Ma vaff...
Ok, abbiamo capito.

Ma metterlo su un aereo - come si fa normalmente per trasferire grandi quantità di dati - invece che su un camion... no? :)
Il libro era proprio "Computer Networks". Non pensavo che questa frase fosse così famosa...
@ST
magari fra qualche anno anche trasferire i petabyte via internet non sarà tanto assurdo.

...e quel giorno ci ritroveremo a dover trasferire yottabyte di dati e la connessione da 1 petabyte sarà lenta.
E magari uno yottabyte di dati entrerà in una pennina USB 15.0 che renderà la banda passante da un petabyte inferiore a quella di una Panda passante che trasporterà con facilità tantissime di queste pennine da un posto a un altro :-)
Poi, per il data mining... un bel Caterpillar? :-)
Mi fa piacere constatare che, anche col passare degli anni, le teorie rimangono valide. Ne parlavi già qui, ti ricordi?
http://attivissimo.blogspot.it/2014/01/e-piu-veloce-spedire-un-disco-rigido-o.html?m=1


E già allora Stupidocane sparava le sue vaccate! :-DD

"E già allora Stupidocane sparava le sue vaccate! :-DD"

Già. Ero solo più vispo...
@Stupidocane
Già. Ero solo più vispo...

Già.
Mi ricordo che riuscivi a scodinzolare a 400Mhz. Parola tua :-D
dato che la quantità di HD da 3,5 pollici e i limiti di velocità in questi anni non sono cambiati bisognerebbe capire se aumenta più velocemente la capacità degli HD o la banda internet disponibile.
nel primo caso sarà sempre più conveniente usare un camion, un treno, una nave di HD piuttosto che trasferire i dati via internet nel secondo prima o poi potrebbe diventare più conveniente inviare i dati via internet...
E ora il commento faceto:

La FCA ha già annunciato il nuovo autoveicolo per il trasporto dati. Si chiamerà "Panda Larga".