Facebook verarbeitet täglich 500 Terabyte an neuen Daten

23. August 2012, 09:00
  • Jay Parikh präsentiert Zahlen von Facebooks Datenverarbeitung
    screenshot: derstandard.at

    Jay Parikh präsentiert Zahlen von Facebooks Datenverarbeitung

Mitarbeiter-Zugriff auf Daten wird streng kontrolliert und überwacht

Mit über 950 Millionen Usern ist Facebook das größte soziale Netzwerk der Welt. Das Datenaufkommen, mit dem Facebook täglich zu tun hat, ist enorm. Wie CNET berichtet, hat Facebooks Chef der Infrastruktur - Jay Parikh - bekanntgegeben, wieviele Daten täglich verarbeitet werden. Demnach werden die meisten Daten in einem einzigen Bündel gespeichert, welches in etwa 100 Petabyte Speicherplatz braucht. 

300 Millionen Fotos

Jede halbe Stunde werden 105 Terabyte Daten gescannt, um die Performance neuer Produkte zu testen. Zusätzlich zu diesem Aufwand werden 2,7 Milliarden Likes bzw. "Gefällt mir" verarbeitet, und das täglich. An einem einzigen Tag werden auf Facebook 300 Millionen Fotos hochgeladen und 70.000 Suchabfragen durchgeführt. Insgesamt sind das über 500 Terabyte an neuen Daten, die täglich abgefertigt werden.

Zugriff für Funktionsentwicklung

Das Unternehmen ermöglicht allen Mitarbeitern, egal aus welchem Bereich, den Zugriff zu diesen Daten, um neue Funktionen zu entwickeln oder bestehende zu verbessern. Als Beispiel nennt CNET die Freundesempfehlungen, die nur funktionieren, wenn die Daten ständig upgedatet werden. Fügt man also einen neuen Freund hinzu, werden einem Menschen angezeigt, die man eventuell kennen könnte. Dies müsse allerdings in Echtzeit passieren, alles andere würde die User nicht sehr erfreuen.

Strenge Kontrolle

Der Vorteil der Speicherung der Daten an einem einzigen Ort ist der schnelle Zugriff. Entwickler können so relativ schnell Statistiken oder Trends in Funktionen erkennen. Dieser Zugriff auf die Daten wird allerdings sterng kontrolliert, um keinen Missbrauch zu ermöglichen. Jeder Zugriff wird gelogged und überwacht. Die Präsentation von Parikh zu Facebooks Big Data ist auf Scribd einzusehen. (red, derStandard.at, 23.8.2012)

Kommentar posten
Posting 1 bis 25 von 37
1 2
Also entweder sie finden bald neue Einnahmequellen

oder sie müssen sich doch noch mit dem Konzept der Datenlöschung anfreunden...

Eigentlich ist Facebook nichts anderes als ein Schrotthändler. Aber es soll auch Schrotthändler gegeben haben, die den Schrott anderer gestohlen haben, damit zum Milliardär, äh Millionär wurden und die eigenen Angstellten mit dem billigsten Metall abspeisten.

Ws sollte eher heissen:"Facebook verarbeitet täglich 500 Terabyte an neuen Datenmüll"

digitaler Müll und FB ist das Endlager

Und wieviel bleibt wenn man die Katzenbilder abzieht?

und 1000 Terabyte was sie löschen sollten

uih uih wer wird in zwei Jahren noch von FB sprechen ?

Adblocker 1.2.1

und die Werbung auf Facebook ist Geschichte ...

2.1.2,oder?

ich find schade, dass der content hinter der facebook wall versteckt wird, kaum jemand postet etwas öffentlich. früher wars ja so, dass maximal 20% information ins netz gestellt haben und die anderen 80% nur Nutznießer waren. jetzt laden alle hoch, aber hinter ein scheunentor.

aber hinter ein scheunentor.

Das ist der Hauptgrund warum ich Facebook total ablehne: die wollen ihr privates Netzwerk schaffen und das widerspricht der Grundidee des Internets.

Ich hätte noch nicht bemerkt, dass irgendwas Wertvolles auf FB gepostet wurde, daher ist es auch kein Verlust. Wer etwas zu sagen hat, man das eh über andere Wege.

ich seh das ganze internet nur noch im facebook abrennen, uch benutze das aber auch sicher anders als du

70.000 Suchabfragen an einem Tag

muss ja die Hölle sein. Die haben sicher extra einen Quadcore-Server dafür angeschafft, um das zu bewältigen.

Wieviele Fußballfelder sind das also, die der Rasenmäher schaffen muß?

70.000 Suchanfragen, die Petabyteweise Daten, die zu den unterschiedlichsten Kriterien zusammengefasst sind, durchsuchen und Querverweise berücksichtigen, das ganze in Echtzeit und die Ergebnisse noch anzeigen WÄHREND der Kunde die Suchbegriffe eintippt...

...doch, das IST beeindruckend.

Naja,

laut dem hier:
http://searchengineland.com/by-the-nu... buzz-36709
hatte Google z.B. 2010 schon 34.000 Suchanfragen pro Sekunde. Da sind die 0.8 pro Sekunde von Facebook ja nicht so prickelnd.

was heißt das?

"Jede halbe Stunde werden 105 Terabyte Daten gescannt, um die Performance neuer Produkte zu testen."

Daten scannen um die Performance neuer Produkte zu testen? Wie scannt man Daten?

D.h. ich schreib mir ein Programm dass dann z.B. mit allen Fotos gefuettert wird, es erstellt mir dann Statistiken a la wie gross die Bilder, Dateiformat, Aufloesung, wie lange braucht 1 Datei wenn sie durchgejagt wird (in ms).

Dann habe ich viele Daten die ich verwenden kann damit ich weiss wo z.B. die meiste Rechenzeit verlorgen geht, ob bei den Likes, Fotos, Neuanmeldungen etc. Dann kann man versuchen das ganze zu optimieren, schnellere Prozesse einzufuehren, Dinge zu vereinfachen.

Daten scannt uebrigend auch das Antivirenprogram..

Daten scannen

Suchen Sie sich ein "Wörterbuch" und bringen Sie sich alle möglichen Bedeutungen der Worte "Daten" und "scannen" näher. Beide haben viele Bedeutungen, es gibt auch mehr als eine Bedeutungskombination, die Sinn ergibt.

Also BITTE!

Mich interessiert es durchaus ob es einen neuen Kajal Stift gibt; und der muss dann natürlich auch stundenlang aufgetragen werden, zu verschiedenen Tageszeiten und kombiniert mit unterschiedlichsten Make-Ups.

Genauso kann ich nicht ohne die Info welche Farbe der Morgenschiss vom dritten Hund des Vloggers hatte leben!

Diese Infos brauche ich alle detailliert, am besten noch als Video - ups, da wären wir dann bei Youtube...

Zukünftige Historiker und Archäologen tun mir jetzt schon leid

Entweder werden von unserer Epoche fast keine Zeugnisse überbleiben, oder die armen Teufel werden an den Bergen von geist- und inhaltslosem Müll verzweifeln.

Echt?

Aus dem alten Mesopotamien von der Uruk-Zeit (ca. 3000 v. Chr.) bis zur 3. Dynastie von Lagash (ca. 2000 v. Chr.) sind gut und gern 1 Million keilschriftlicher Tontafeln erhalten. Davon enthalten 999.500 ausschließlich Wirtschaftstransaktionen. Wieviel Ballen Wolle der Tempel A bekommen hat. Wieviel männliche Schafe dem Tempel B geliefert wurden, und und und

Genau das ist der Punkt

Tontafeln überdauern Jahrtausende. Papier Jahrhunderte. Magnetbänder, wenn es gut geht, Jahrzehnte. Selbstgebrannte CDs sind nach ein paar Jahren unlesbar. Dazu kommt, daß mit fortschreitender Technisierung immer kompliziertere Lesegeräte notwendig sind, die selbst immer kürzere Lebenszeiten haben, und daß sich die Formate immer schneller ändern. Die Tontafel können Sie ohne technische Hilfsmittel lesen - meine Diplomarbeit im WordPerfect-Format ist elektronisch praktisch nicht mehr lesbar. Da immer mehr Information nur mehr elektronisch gespeichert wird - Stichwort E-Books - gibt es berechtigte Bedenken, daß von unserer Zivilisation nicht viele Dokumente übrigbleiben werden.

Das ist sicherlich ein großes Problem unserer Zeit, allerdings haben die Forscher auch viele Jahrhunderte benötigt um die Schrift der Sumerer etc. zu entschlüsseln.
Meine private Lösung (sicher keine optimale Lösung) funktioniert so: Dokumente werden am Ende grundsätzlich immer als pdf gespeichert, außerdem ziehe ich von jedem alten Betriebssystem ein Image bevor ich es ausmustere. Weiters habe ich im Keller ein NAS stehen, wenn ich mir ein neues kaufe spiele ich alle Daten rüber, womit cih praktisch nichts auf CD oder DVD habe. Natürlich ist mir das Problem bewußt, dass ich darauf bauen muss, dass niemals physisch mein Storage zerstört wird, bisher (mehr als 10 Jahre) hat das gut funktioniert.

Da haben wir aneinander vorbei geredet...

...ich war nur der Meinung, dass uns aus der Geschichte von Sumer und Akkade hauptsächlich Alltagsbanalitäten überliefert sind...ist aber auch nicht notwendig. Ein einziges iPhone erzählt eine spannendere Technik/Physik-Geschichte als 90 Prozent der überlieferten technischen Literatur seit der Antike!
Ich halte diese Gejammer über unsere banale Zeit für ranzigen, reaktionären Kulturpessimismus.

Kommentar posten
Posting 1 bis 25 von 37
1 2

Die Kommentare von Usern und Userinnen geben nicht notwendigerweise die Meinung der Redaktion wieder. Die Redaktion behält sich vor, Kommentare, welche straf- oder zivilrechtliche Normen verletzen, den guten Sitten widersprechen oder sonst dem Ansehen des Mediums zuwiderlaufen (siehe ausführliche Forenregeln), zu entfernen. Der/Die Benutzer/in kann diesfalls keine Ansprüche stellen. Weiters behält sich die derStandard.at GmbH vor, Schadenersatzansprüche geltend zu machen und strafrechtlich relevante Tatbestände zur Anzeige zu bringen.