Datenstau!?!

Fragen & Antworten rund um die Funktionen von booklooker (Buddylist, Blacklist, Suchaufträge, Urlaubsservice etc).
Benutzeravatar
superbushy
Beiträge: 855
Registriert: Di 14. Feb 2006, 23:17
Wohnort: Bayern

Datenstau!?!

Beitrag von superbushy »

"Meine neuen Angebote bleiben in der Warteschleife hängen...
Momentan haben wir ein kleinen Datenstau. In 48 Stunden sollte alles wieder normal laufen, dann werden auch die neuen Angebote übernommen.
Wir bitten um Entschuldigung & etwas Geduld. "
http://www.booklooker.de/pages/helpfaq3.php?faqID=78

Ich habe Bücher in der Warteschlange und lauere auf ein Angebot, dass ebenfalls in der Warteschlange feststeckt. :roll:

Ich wäre ja für die Abschaffung der Warteschlange... Das muss doch technisch möglich sein, oder?

LG sb
Gruß, superbushy
http://www.booklooker.de/app/result.php ... ediaType=0

->Lesen gefährdet die Dummheit<-
Benutzeravatar
d_r_m_s
Beiträge: 3593
Registriert: Do 27. Okt 2005, 11:54
Wohnort: Grossraum Karlsruhe

Beitrag von d_r_m_s »

die Frage ist nur immer, ob es auch wünschenswert ist ... wenn die Kapazität für die Verarbeitung der Warteschlange z.Z. nicht ausreicht, der Rest aber funktioniert ist das m.E. besser als wenn es global Probleme gibt ...
Benutzeravatar
Flachs
Beiträge: 11883
Registriert: Mi 2. Nov 2005, 17:57
Wohnort: NRW
Kontaktdaten:

Re: Datenstau!?!

Beitrag von Flachs »

superbushy hat geschrieben:Ich wäre ja für die Abschaffung der Warteschlange... Das muss doch technisch möglich sein, oder?
Diese Stapelverarbeitung ist nur eine Frage der Datenbankprogrammierung und -optimierung. Ebäh z.B. hat das anders gelöst...
Der Wurm findet es merkwürdig und töricht,
daß der Mensch seine Bücher nicht frißt.
(Rabindranath Tagore)
Benutzeravatar
d_r_m_s
Beiträge: 3593
Registriert: Do 27. Okt 2005, 11:54
Wohnort: Grossraum Karlsruhe

Beitrag von d_r_m_s »

Ebay hat das so gelöst, dass es zwischen Minuten und etlichen Stunden dauern kann, bis ein Angebot für andere sichtbar ist ... und eine Statusmeldung gibt es nicht ... auch jede Überarbeitung schickt das Angebot für andere Nutzer wieder in die Warteschleife ...

ganz zu schweigen von weiteren Problemen, wenn Ebay zwar grundsätzlich zu erreichen ist, aber mal die Suche, mal das Bieten nicht funktioniert ... und 'sorry, ein Teil Ihrer Daten steht jetzt grade nicht zur Verfügung' ...

datenbanktechnisch lässt sich vieles machen (bin OCP DBA), aber unter gewissen Aspekten kann eine Batch-Verarbeitung auch eine Optimierung sein ... und die Art der Umsetzung für die Nutzer finde ich hier sehr gut ...
Benutzeravatar
PaulPic
Beiträge: 190
Registriert: Fr 7. Jul 2006, 20:14

Re: Datenstau!?!

Beitrag von PaulPic »

Flachs hat geschrieben:Diese Stapelverarbeitung ist nur eine Frage der Datenbankprogrammierung und -optimierung. Ebäh z.B. hat das anders gelöst...
Genau. Eine Datenbank ist organisiert wie ein Telefonbuch oder wie ein Karteikasten.

Wenn in einem Telefonbuch ein Eintrag rein- oder rausmuß, bleibt nichts anderes übrig als das ganze Buch wegzuschmeißen und neu zu drucken. Hat man einen Karteikasten, zieht man einfach eine Karte raus und schmeißt sie weg oder tut eine neue rein. Diese Methode ist natürlich sehr schnell.

Oracle arbeitet nach dem Telefonbuch-Prinzip, MySQL kann beide Methoden gleichzeitig. Nach meiner Information arbeitet booklooker mit MySQL. Deshalb ist nicht einzusehen, warum sie die Änderungen nicht in Echtzeit verarbeiten.

Natürlich müssen auch bei dieser Methode die sogenannten Indizes neu aufgebaut werden. Eine Bibliothek alten Schlages ist ein gutes Beispiel. Man hat verschiedene Karteikasten, wobei ein Karteikasten die Hauptrolle spielt, zum Beispiel der Karteikasten, der nach Buchtiteln angeordnet ist. Zu jedem Buch gibt es eine Karteikarte und umgekehrt. Die Karteikarte repräsentiert also das Buch in eindeutiger Weise. Wird ein Buch weggeschmissen, fliegt die Karteikarte raus, kommt ein Buch dazu, muß eine neue Karteikarte eingefügt werden. Wo die Bücher stehen und in welcher Reihenfolge, ist dabei egal. Im Gegensatz zum Telefonbuch sind die Daten nämlich von den Indizes getrennt.

Den Titelkasten nennt man den Hauptindex oder Primärindex. Es gibt aber noch weitere Karteikästen, z. B. nach Autoren geordnet oder nach Schlagwörtern oder nach Sachgebieten oder nach Verlagen, Erscheinungsjahr, Preis usw. Wenn nun im Primärindex eine Änderung vorgenommen wird, müssen alle anderen Karteikästen ebenfalls entsprechend geändert werden. Je mehr Kästen, desto länger dauert die Änderung.

Die Kunst besteht jetzt darin, die Datenbank so zu optimieren, daß das alles blitzschnell geht, auch wenn extrem viele Indizes vorhanden sind. Das lernt man in spezialisierten Kursen, die Geld kosten. Und wenn man die erfolgreich abgelegt hat, kann man sich dann DBA = Datenbankadministrator nennen. Je optimierter eine Datenbank ist, desto mehr Transaktionen kann sie pro Sekunde ausführen. Das hängt natürlich auch von der Hardwareausstattung ab. Ich habe schon Maschinen gesehen, die über 60.000 Transaktionen pro Sekunde hingelegt haben (aus der Tourismusindustrie). BL wird mit normalen PCs arbeiten, wo vielleicht 2000 Transaktionen pro Sekunde möglich sind.

Bei sehr hoher Belastung kann es trotzdem zu Engpässen kommen. Dann wird man abwägen. Im Internet möchte man die reinen Anfragen vorrangig bearbeiten und die Änderungen lieber zurückstellen. Das kann man wiederum der MySQL-Datenbank angeben, woraufhin die die Änderungen in eine Warteschlange stellt und abarbeitet, sobald es möglich ist, was in der Regel innerhalb der nächsten Bruchteile von Sekunden oder höchstens ganzen Sekunden passiert - nicht Stunden, wohlgemerkt. mobile.de arbeitet z. B. ebenfalls mit einer MySQL-Datenbank und vollzieht Änderungen im Prinzip sofort. Im Prinzip deshalb, weil die so viele Maschinen eingesetzt und diese auf verschiedene Standorte verteilt haben, daß durch die Laufzeiten und die Synchronisierung geringfügige Verzögerungen auftreten können.

Daran wird ein weiteres Prinzip deutlich. Man fängt mit einer Maschine an, und wenn die die Last nicht mehr tragen kann, setzt man weitere Maschinen ein und verteilt die Last. Auf diese Weise kann man beliebige Lasten abfangen. Das ist das Geheimnis von Google, Wikipedia usw., die setzen Zehntausende von Maschinen ein. Bei einem derartigen Ansturm bleibt einem nichts anderes übrig.

Ich hoffe, das hilft zum Verständnis.

LG
Paul
Benutzeravatar
Erzkanzler
Beiträge: 1809
Registriert: Do 22. Sep 2005, 08:45
Wohnort: KIEL

Beitrag von Erzkanzler »

DAS nenn' ich mal ne gute Beschreibung :!:
Danke an PP
cu
Erzkanzler
Mein Bücherregal
"Nimm einem stolzen Hirsch sein Geweih.
Was bleibt übrig?
Ein großes Karnickel."
Benutzeravatar
Flachs
Beiträge: 11883
Registriert: Mi 2. Nov 2005, 17:57
Wohnort: NRW
Kontaktdaten:

Beitrag von Flachs »

d_r_m_s hat geschrieben:Ebay hat das so gelöst, dass es zwischen Minuten und etlichen Stunden dauern kann, bis ein Angebot für andere sichtbar ist ... und eine Statusmeldung gibt es nicht ... auch jede Überarbeitung schickt das Angebot für andere Nutzer wieder in die Warteschleife ...

ganz zu schweigen von weiteren Problemen, wenn Ebay zwar grundsätzlich zu erreichen ist, aber mal die Suche, mal das Bieten nicht funktioniert ... und 'sorry, ein Teil Ihrer Daten steht jetzt grade nicht zur Verfügung' ...
Von all diesen ständigen schlechten Erfahrungen mit Ebäh kann ich auch ein Liedchen singen! Deshalb nannte ich Ebäh ja auch bloß als allgemeines Beispiel - und keinesfalls als Vorbild! :!: :roll: :mrgreen:
Der Wurm findet es merkwürdig und töricht,
daß der Mensch seine Bücher nicht frißt.
(Rabindranath Tagore)
Benutzeravatar
d_r_m_s
Beiträge: 3593
Registriert: Do 27. Okt 2005, 11:54
Wohnort: Grossraum Karlsruhe

Beitrag von d_r_m_s »

Vorsicht, Erzkanzler ... PP hat zumindest von Oracle absolut 0 Ahnung :D

'Wenn in einem Telefonbuch ein Eintrag rein- oder rausmuß, bleibt nichts anderes übrig als das ganze Buch wegzuschmeißen und neu zu drucken'

'Oracle arbeitet nach dem Telefonbuch-Prinzip'

soso, ein neuer Eintrag bei Oracle, und die ganze Datenbank muss neu aufgebaut werden :shock:

in einer Hinsicht hat er allerdings recht: Irgendwo stösst die Hardware an ihre Grenzen ... und dann fragt es sich, ob es sich lohnt, sofort neue Hardware zu kaufen ... oder die Last z.B. auch zeitlich zu verteilen, wie es Booklooker tut ...

aber ich vermute, Booklooker würde einige Tausend Euros für einen weiteren Server auch gerne als Spende annnehmen :wink:
Benutzeravatar
Erzkanzler
Beiträge: 1809
Registriert: Do 22. Sep 2005, 08:45
Wohnort: KIEL

Beitrag von Erzkanzler »

d_r_m_s hat geschrieben:Vorsicht, Erzkanzler ... PP hat zumindest von Oracle absolut 0 Ahnung :D

'Wenn in einem Telefonbuch ein Eintrag rein- oder rausmuß, bleibt nichts anderes übrig als das ganze Buch wegzuschmeißen und neu zu drucken'

'Oracle arbeitet nach dem Telefonbuch-Prinzip'

soso, ein neuer Eintrag bei Oracle, und die ganze Datenbank muss neu aufgebaut werden
Habe von Datenbanken absolut keine Ahnung, kann sie nur anwenden (mysql etc...), daher finde ich o.a. Erklärung gut. Der Fehler ist / wäre mir gar nicht aufgefallen, aber gut ihn jetzt zu erkennen :D
cu
Erzi
Mein Bücherregal
"Nimm einem stolzen Hirsch sein Geweih.
Was bleibt übrig?
Ein großes Karnickel."
Benutzeravatar
d_r_m_s
Beiträge: 3593
Registriert: Do 27. Okt 2005, 11:54
Wohnort: Grossraum Karlsruhe

Beitrag von d_r_m_s »

ich kenne mysql nur dem Namen nach ... und aus Testberichten ...

es ist sicher billiger in der Anschaffung als Oracle und schneller zu lernen ...

bei der Leistungsfähigkeit (v.a Ausfallsicherheit und Transaktionsintegrität) würde ich auf Oracle setzen ...

bei Booklooker können sich vermutlich kaum Transaktionen in die Quere kommen, und wenn wird es keine Riesenprozesse deswegen geben ... da hätte ich mit mysql keine Probleme ... eine Bank, die ihre Konten über mysql abrechnet, habe ich noch nicht gesehen ...

aber wie jedes HiTech-System muss eine Oracle-Datenbank professionell gewartet werden ... und diese Wartung sieht bei jeder Datenbank etwas anders aus ... von der Bereitstellung von Informationen bis zu den Schräubchen, an denen man drehen kann ...

ich müsste mich als Administrator in mysql erst einmal einarbeiten ... aber während mysql vermutlich keine Features hat, die nicht auch bei Oracle vorhanden sind, könnte ein mysql-Administrator wahrscheinlich grundsätzlich Neues entdecken :wink:
Benutzeravatar
PaulPic
Beiträge: 190
Registriert: Fr 7. Jul 2006, 20:14

Beitrag von PaulPic »

d_r_m_s hat geschrieben:Vorsicht, Erzkanzler ... PP hat zumindest von Oracle absolut 0 Ahnung :D

'Wenn in einem Telefonbuch ein Eintrag rein- oder rausmuß, bleibt nichts anderes übrig als das ganze Buch wegzuschmeißen und neu zu drucken'

'Oracle arbeitet nach dem Telefonbuch-Prinzip'

soso, ein neuer Eintrag bei Oracle, und die ganze Datenbank muss neu aufgebaut werden :shock:
Na gut, jeder gute Vergleich hinkt. Soll ich jetzt erklären, wie Transaktionen funktionieren? Übrigens hat Oracle sich bei InnoDB eingekauft, und InnoDB ist die Transaktions-Engine von MySQL. InnoDB nimmt für sich in Anspruch, die schnellste Transaktions-Engine der Welt zu sein. Indirekt ist jetzt Oracle also Teilhaber bei MySQL - pikant.

Ich gebe zu, daß ich kein Oracle-DBA bin, aber ich habe viele Oracle-DBA geschult und weiß von daher, daß alle ausnahmslos von MySQL schwer beeindruckt waren. Außerdem habe ich von denen eine Menge gelernt und weiß deshalb, daß Oracle zumindest einiges im Vergleich suboptimal macht. So hat MySQL eine vorzügliche Fulltext-Suchmaschine, mit der Oracle nicht mithalten kann oder zumindest nicht mithalten konnte, als ich da noch im Geschäft war - die entwickeln sich ja auch weiter -, aber soweit ich weiß, setzt BL Fulltext nicht ein. Es ging mir auch nicht darum, ein Produkt gegen ein anderes auszuspielen, sondern aufzuzeigen, wie das Problem konkret gelöst werden könnte. Daß BL MySQL einsetzt, sieht man, wenn es Fehlermeldungen hagelt.

Die Beispiele, die ich genannt habe, zeigen, daß es möglich ist. Andere machen es so, und es gibt keinen für mich einsichtigen Grund, warum BL es nicht auch so machen sollte. Allerdings muß das Programm dann entsprechend umgebaut werden, was natürlich fehlerträchtig ist und Aufwand bedeutet. Das muß man dem zukünftigen Nutzen gegenüberstellen. Wie die Entscheidung dann ausfällt, ist schwer zu sagen. Andererseits wird eine Sache dadurch nicht besser, daß man eine notwendige Änderung vor sich herschiebt. Letzten Endes werden die Kosten dadurch auch immer größer.

Außerdem habe ich viele Anwendungen und Datenbanken gesehen, die entsetzlich programmiert und entsprechend langsam waren. Das ist aber ganz normal. Man fängt ganz unschuldig an, hat nur wenige Datensätze, alles läuft prima und schnell, und irgendwann wird die Sache langsam und dann kratzt man sich am Kopf und fragt sich, woran das wohl liegen mag. Das ist der Punkt, wo man Expertenhilfe braucht. Die erwähnte Datenbank aus der Tourismusindustrie ist das Endprodukt einer ganz langen Entwicklung, die auf sehr vielen verschiedenen Datenbanken gelaufen ist und heute eben auf MySQL läuft. Der Verantwortliche ist einfach wahnsinnig gut und hat im Laufe der vielen Jahre sehr viel gearbeitet und gelernt. Datenbankoptimierung ist nämlich keine Hexerei, sondern Erfahrung und Geduld und vor allem viel Arbeit, und zwar bei jeder Datenbank gleichermaßen, egal wie sie alle heißen, und es gibt Hunderte davon. Die Optimierungstechniken unterscheiden sich nicht.

Das große Problem mit MySQL und Oracle ist, daß Oracle-Spezialisten gesucht sind, MySQL-Spezialisten weniger. Das wiederum hängt damit zusammen, daß Oracle einer der Pioniere dieses Marktes war und die Industrie voll im Griff hat. Niemand möchte ohne Not wechseln. Also kommt ein Vergleich überhaupt nicht in Betracht. Man bleibt selbstverständlich bei der Lösung, die man hat und die funktioniert. Als Oracle-Spezialist ist man also auf der sicheren Seite. Man muß sich nicht mit MySQL beschäftigen. Im Gegenteil, das Interesse muß sein, dem Vorgesetzten klarzumachen, daß MySQL nichts taugt und man besser bei Oracle bleibt.

Yahoo hat erstmals MySQL eingesetzt, als eine neue Lösung entwickelt wurde: Yahoo Finance. Der Entwicklungsleiter, Jeremy Zawodny, spricht offen auf Konferenzen über die Vorzüge von MySQL, schreibt ein Blog und hat auch ein Buch über High-End-Lösungen geschrieben. Selbstverständlich hätte er auch Oracle einsetzen können, denn Oracle ist bei Yahoo Standard.

Ich erzähle das deshalb, damit das BL-Team nun nicht meint, zukünftige Probleme dadurch lösen zu müssen, daß man die "minderwertige" MySQL-Datenbank durch die "überlegene" Oracle-Datenbank ersetzt. Das ist natürlich oft genug vorgekommen und nie haben sich Probleme dadurch lösen lassen. Es war auch nie eine Entscheidung der Technik, sondern des Management. Mit genug Kapital nimmt man eben immer vom Teuersten. Dazu muß man nichts von der Sache verstehen.

Sollte BL also eines Tages von einem großen Fisch geschluckt werden und genug Geld zur Verfügung stehen, könnte eine solche Entscheidung durchaus getroffen werden. Den Anwendern soll es letzten Endes egal sein, auf welchen Rädern der Wagen rollt. Und auch mir soll es egal sein, wie BL seine Probleme löst. Meistens ist man ja selber klug genug und braucht keinen Rat von irgendwelchen Klugscheißern, die sich ungefragt einmischen.

Sorry, daß ich etwas dazu gesagt habe.

LG
Paul
Benutzeravatar
superbushy
Beiträge: 855
Registriert: Di 14. Feb 2006, 23:17
Wohnort: Bayern

Beitrag von superbushy »

Echt interessant, mit was Ihr Euch alles auskennt. :shock:
Dass das eine Radikalerneuerung der Datenbanken erforderlich macht, ist natürlich heftig. Einen Programmiererstab mit diese Angelegenheit zu beschäftigen könnte BL wahrscheinlich nur mit einer "Gebührenanpassung" bewältigen. :?
Das will ich dann doch nicht. Also warte ich lieber bis sich die Warteschlange bequemt, meine Angebote hochzuladen. Das von mir gewünschte Buch wurde gerade freigegeben und ich habe es kaufen können.

LG sb
Gruß, superbushy
http://www.booklooker.de/app/result.php ... ediaType=0

->Lesen gefährdet die Dummheit<-
Schlangelisa
Beiträge: 555
Registriert: Do 20. Apr 2006, 14:47

Beitrag von Schlangelisa »

Hä ? :evil:

Und wieder keinen blassen Schimmer !

Grüße
Schlangelisa
Benutzeravatar
Flachs
Beiträge: 11883
Registriert: Mi 2. Nov 2005, 17:57
Wohnort: NRW
Kontaktdaten:

Beitrag von Flachs »

Schlangelisa hat geschrieben:Hä ? :evil:

Und wieder keinen blassen Schimmer !
Mach Dir nichts draus: Dafür gibt es ja schließlich die Experten! :wink:
Der Wurm findet es merkwürdig und töricht,
daß der Mensch seine Bücher nicht frißt.
(Rabindranath Tagore)
Benutzeravatar
janinevo
Beiträge: 1268
Registriert: Mi 16. Aug 2006, 20:24
Wohnort: NRW

Beitrag von janinevo »

Also ich habe, obwohl ich mich nicht wirklich - sprich gar nicht ;) - mit Datenbanken auskenne das Grundprinzip verstanden.
Danke euch schlauen Leuten :)
Lg Janine
Woher soll ich wissen was ich denke, bevor ich höre was ich sage?
Schaut doch mal in meinem Shop vorbei!
Antworten