Cerca nel blog

2017/05/26

Dovete spostare petabyte di dati? Col camion si fa prima, parola di Amazon

Nel 2001 scrissi un articoletto che segnalava il fatto che già allora Linux, a differenza di Windows XP, aveva iniziato a supportare file singoli con dimensioni fino a 144 petabyte (un petabyte equivale a mille terabyte o un milione di gigabyte; in pratica, mille dei dischi rigidi standard di oggi). All’epoca la notizia aveva suscitato qualche ecchissenefrega, visto che l’idea di file così colossali pareva remota.

Ma gli anni passano, la tecnologia galoppa, e così già nel 2013 segnalavo vari casi pratici di aziende e centri di ricerca che generavano petabyte di dati (suddivisi però in file multipli e non in un singolo file). Oggi le aziende di questo genere sono aumentate e hanno un problema: trasferire queste quantità inimmaginabili di dati.

Gizmodo e Wired spiegano che Amazon ha introdotto da poco un servizio per il trasferimento di grandi quantità di dati tramite camion, perché è più veloce che farlo via Internet.

Può sembrare assurdo, ma considerate che un singolo autoarticolato di Amazon Web Services, chiamato Snowmobile, contiene fino a 100 petabyte, ossia abbastanza da contenere cinque copie integrali dell’Internet Archive, ossia non solo di tutta l'Internet attuale, ma anche di tutte le sue versioni passate e archiviate. E ci sono aziende come DigitalGlobe, che collezionano e vendono immagini satellitari di tutto il pianeta per consentire rilievi, tracciamenti e statistiche, che hanno petabyte di dati da salvare e spostare: DigitalGlobe, per esempio aggiunge ai propri archivi 100 terabyte di dati al giorno.

"Caricare" di dati un camion da 100 petabyte richiede una decina di giorni, e ci vuole altrettanto tempo per scaricarli, mentre il viaggio fisico dei dati da una costa degli Stati Uniti a quella opposta richiede circa 45 ore. Cento petabyte, insomma, vengono trasferiti tramite camion in circa 22 giorni. La stessa quantità di dati, trasferita tramite servizi Internet ad alta velocità come Google Fiber (1 gigabit al secondo), richiederebbe quasi trent'anni. Le connessioni sperimentali più veloci oggi disponibili (circa 1 terabit/secondo) permetterebbero di trasferire 100 petabyte in una decina di giorni, ma sono appunto sperimentali e non funzionano su lunghe distanze. Per cui il camion batte Internet.

37 commenti:

daniel bertagnolli ha detto...

Poi ci sono io con una misera 7mb che alla sola idea di scaricare 50/60gb per un gioco (versione digitale, da Steam) mi viene male ahaha, per scaricare 100PB mi ci vorrebbe qualcosa tipo 20/30 vite complete

Angelo Rabellotti ha detto...

Hai voglia... Con le ADSL italiane medie, appena sei fuori dalle grandi città l'IP over avian carrier diventa una valida alternativa!
https://tools.ietf.org/html/rfc1149

Gas ha detto...

come diceva un mio prof : "mai sottovalutare la banda passante di un camion carico di hd lanciato a tutta velocità in autostrada" :D

ObyOnePerHobby ha detto...

Segnalo questo interessante post di Randall Munroe (XKCD) che analizza, a modo suo, il tema della movimentazione dati--> https://what-if.xkcd.com/31/

Alphair ha detto...

"Never underestimate the bandwidth of a station wagon full of tapes hurtling down the highway."
Andrew S. Tanenbaum, Computer Networks, 3rd ed., p. 83. (paraphrasing Dr. Warren Jackson, Director, University of Toronto Computing Services (UTCS) circa 1985)

Anonimo ha detto...

Insomma, una specie di gigantesca flash drive con le ruote :D

Guga ha detto...

Si chiama "Principio di Tanenbaum", da Andrew S. Tanenbaum che nel 1985, nel suo libro Computer Networks, scrisse:

Never underestimate the bandwidth of a station wagon full of tapes hurtling down the highway

Quando studiammo da quel libro quella frase ci venne da sorridere. Poi un giorno, una decina di anni fa, trovandomi a dover inviare 500MB di dati a un collega, mi accorsi che ci avrei messo molto meno a masterizzare un CD e andare a piedi a casa sua (viveva a 500 metri da me) che a mandarglielo via Internet. E così feci.

Anonimo ha detto...

"Never underestimate the bandwidth of a station wagon full of tapes hurtling down the highway."

Andrew Tanenbaum, ca. 1985.

Ancora attuale a quanto vedo!

ataru1976 ha detto...

Quindi, se non ho fatto male i conti e prendendo per buone le mie ipotesi, un camion di amazon ha una larghezza di banda di circa 5 Tb/s; immaginando che il camion viaggi a una media di 80 km/h, cioè circa 22.2 m/s, abbiamo circa 225 Gb/m che equivalgono a circa 28 GB/m.
Ipotizziamo che il camion sviluppi 400000 W di potenza e debba percorrere un metro, abbiamo due possibilità:
1) circa 0.00007 GB/W
2) poco più di 11000000 GBW
Quali saranno i famosi "gigabyte di watt"?

Vorrei inoltre porre l'attenzione sul fatto che possiamo aumentare la larghezza di banda del camion eliminando i limiti di velocità.

Scatola Grande ha detto...

Quindi significa che la tecnologia usata per trasferire i dati dal camion al datacenter, immagino poche decine di metri, non è disponibile per distanze più lunghe.

Heavymachinegun ha detto...

Non ci vedo una grande notizia. I grossi database vengono spostati "fisicamente" e non tramite rete, da molto tempo.

Infinity ha detto...

Vecchio intramontabile assunto della Rete: "Mai sottovalutare l'ampiezza di banda di un'auto carica di Hard Disk che corre sull'autostrada".
Figuriamoci quella di un TIR. :)

Anonimo ha detto...

Come disse Tanenbaum: "Non sottovalutate la banda passante di un camion pieno di dischi"

ST ha detto...

Questo mi ricorda un articolo che lessi -credo- più di vent'anni fa, in cui si diceva che un piccione viaggiatore era più veloce di internet a portare i dati. L'esperiemnto era stato fatto in Israele -se non ricordo male-.
Alla zampa di un piccione venne legata una chiavetta usb da ben (per allora) 516MB (o forse era 1Gb)e venne mandato a destinazione, contemporanemanete gli stessi dati vennero inviati via modem (quelli di una volta, senza cavi ethernet, senza fibra ottica, giusto un passo oltre la cornetta attaccata al "dispositivo"). I dati via internet finirono di arrivare qualche giorno dopo l'arrivo del piccione.
Oggi 1Gb si scarica in pochissimo tempo, le chiavette usb più scarse che trovi nei sacchetti di patatine sono da minimo 1Gb... quindi chissà, magari fra qualche anno anche trasferire i petabyte via internet non sarà tanto assurdo.

Stefano Benamati ha detto...

Questo mi ricorda una cosa che lessi sul libro di reti all'Università tanto, troppo,tempo fa.

Nel libro c'era un capitolo dove veniva spiegata la differenza tra velocità di trasmissione e latenza e venivano fatte le stesse considerazioni di questo articolo. Ricordo ancora la frase con la quale terminava il capitolo:

"Non sottovalutare la banda di un camion pieno di DVD che sfreccia sull'autostrada."

Stupidocane ha detto...

Pesa di più un camion con 100 petabyte di dati di un'acciaeria oppure un camion con 100 petabyte di dati di una fabbrica di piume d'oca?

Daniele Delmonte ha detto...

Mi fa piacere constatare che, anche col passare degli anni, le teorie rimangono valide. Ne parlavi già qui, ti ricordi?
http://attivissimo.blogspot.it/2014/01/e-piu-veloce-spedire-un-disco-rigido-o.html?m=1

Daniele Forghieri ha detto...

Ricordo un vecchio articolo su una rivista (direi di videogiochi ma potrei sbagliarmi) in cui si faceva lo stesso esempio, riempiendo il retro di una familiare (di marca sconosciuta ...) con delle schedine SD: se ai tempi si parlava di kilobit al secondo (640, per dire) la macchina era almeno 1000 volte più rapida !

Alberto ha detto...

Ricordo che Andrew S. Tanenbaum scriveva nel suo libro "Computer Networks" (1981): “Mai sottovalutare l'ampiezza di banda di una station wagon piena di nastri lanciata a tutta velocità lungo l'autostrada”. Qualcuno l'ha evidentemente preso alla lettera :)

Marco Caggianese ha detto...

"Never underestimate the bandwidth of a station wagon full of tapes" 😂

Luigi Rosa ha detto...

Nel mondo dell'IT si chiama "la banda dell'autostrada", e' un metodo usato piu' di quanto si possa immaginare.

Certo, in rounf trip di un payload su camion e' un po' lungo, ma e' un tipo di trasporto dati che non si usa quando il protocollo richiede una raffica di ACK :)

eNtropia ha detto...

Il tuo articolo mi ha ricordato una famosa citazione a riguardo viene da Andrew Tanenbaum, un importante e famoso computer scientist, che negli anni 80 disse:

"Never underestimate the bandwidth of a station wagon full of tapes hurtling down the highway."

La citazione e' perfettamente valida anche ora, sostituendo i nastri con hardisk, o magari con microSD cards! :)

XKCD ci ha fatto un WhatIf apposta:
https://what-if.xkcd.com/31/

PbS ha detto...

"Never underestimate the bandwidth of a station wagon full of tapes hurtling down the highway." (A.S. Tanenbaum, 1981)

Visto che ci siamo, anche un doveroso riferimento a xkcd: https://what-if.xkcd.com/31/

Giambo ha detto...

Never underestimate the bandwidth of a station wagon full of tapes hurtling down the highway.
–Andrew Tanenbaum, 1981

rico ha detto...

A parte il quesito di Stupidocane sul chilo di paglia e il chilo di ferro, mi chiedo che se ne faccia Amazon di questi Fantastiliardi di dati.
Sono sempre più contento di non essere iscritto, visto che Amazon ti chiede vita morte e miracoli, prima di farti comprare qualcosa.

puffolottiaccident ha detto...

Dipende se l'acciaieria usa o no nastri perforati.

1 kb di nastro perforato in fortran pesa 20,53 grammi se son 8192 zeri, credo 17 grammi circa se son 8192 menovaloreassolutodiuni. (165g/mq)
Facciamo 18,5... 1MB di nastro perforato pesa circa 19 kg, 1 GB 19 tonnellate e 400 kg circa... (E siam arrivati al sottobicchiere: 1 camion as sottobicchiere si conta come 26 tonnellate) 1 TB 19'864 tonnellate e un quarto (circa) 1PB 20'340'965 tonnellate, 100 PB 2'034'096'500 tonnellate... 8 milioni di sottobicchieri. Dunque, un sottobicchiere occupa 22,15411 mq circa... quindi immaginando di impilarne 8 uno sopra l'altro... 100 petabyte di nastro perforato starebbero abbastanza comodamente in 22 km quadrati, in una pila alta 20,72 metri.

Volevo calcolare l'overrun dei sottobicchieri ma mi è scoppiato il pallottoliere. Comunque un sottobicchiere è lungo 9,125m largo 2,44m e alto 2,59 m

100 petabyte... è un sottobicchiere da sumo. Deve essere il sottobicchiere di Boris Yeltzin o come cavolo si scrive.

Tommy the Biker ha detto...

Con la mia connessione (7 mega moooolto teorici, li vedo solo in piena notte) il camion è una buona opzione anche per trasferire le decine di GB, altro che petabytes.

La cosa che mi fa più rabbia è che ufficialmente dovrei avere la mitica Fibrah Superveloceh; $ex_monopolista mi ha anche appeso (sì, appeso) un flyer alla porta di casa che diceva "la Fibrah è finalmente arrivata a casa tua".

Poi li chiamo e mi dicono che non è ancora attiva nella mia zona, ci vorrà qualche mese. Ma vaff...

pgc ha detto...

Ok, abbiamo capito.

Ma metterlo su un aereo - come si fa normalmente per trasferire grandi quantità di dati - invece che su un camion... no? :)

Stefano Benamati ha detto...

Il libro era proprio "Computer Networks". Non pensavo che questa frase fosse così famosa...

Guastulfo (Giuseppe) ha detto...

@ST
magari fra qualche anno anche trasferire i petabyte via internet non sarà tanto assurdo.

...e quel giorno ci ritroveremo a dover trasferire yottabyte di dati e la connessione da 1 petabyte sarà lenta.
E magari uno yottabyte di dati entrerà in una pennina USB 15.0 che renderà la banda passante da un petabyte inferiore a quella di una Panda passante che trasporterà con facilità tantissime di queste pennine da un posto a un altro :-)

DDD ha detto...

Poi, per il data mining... un bel Caterpillar? :-)

martinobri ha detto...

Mi fa piacere constatare che, anche col passare degli anni, le teorie rimangono valide. Ne parlavi già qui, ti ricordi?
http://attivissimo.blogspot.it/2014/01/e-piu-veloce-spedire-un-disco-rigido-o.html?m=1


E già allora Stupidocane sparava le sue vaccate! :-DD

Stupidocane ha detto...


"E già allora Stupidocane sparava le sue vaccate! :-DD"

Già. Ero solo più vispo...

Guastulfo (Giuseppe) ha detto...

@Stupidocane
Già. Ero solo più vispo...

Già.
Mi ricordo che riuscivi a scodinzolare a 400Mhz. Parola tua :-D

Andrea ha detto...

dato che la quantità di HD da 3,5 pollici e i limiti di velocità in questi anni non sono cambiati bisognerebbe capire se aumenta più velocemente la capacità degli HD o la banda internet disponibile.
nel primo caso sarà sempre più conveniente usare un camion, un treno, una nave di HD piuttosto che trasferire i dati via internet nel secondo prima o poi potrebbe diventare più conveniente inviare i dati via internet...

Turz ha detto...

Mi ricorda la vicenda del piccione che portò 25 volte più dati dell'ADSL.

Turz ha detto...

E ora il commento faceto:

La FCA ha già annunciato il nuovo autoveicolo per il trasporto dati. Si chiamerà "Panda Larga".