Zu Inhalt springen
Q&A mit Michael zu M6

Hervorgehobene Antworten

comment_1154249
Ich weiß ja nicht, ob es hier hin gehört, aber könnte man evtl. in diesem Zuge die fehlerhaften 'named entities' alter Postings begradigen? Da tauchen oft ' ', '&' und '"' im Text auf, die beim lesen stören...

 

Ich denke nicht, dass das möglich ist, diese Änderungen müssten von Hand vorgenommen werden, da es sich ja um Überreste alter Forumsversionen handelt!

 

 

Mfg Yon

 

Das ließe sich durchaus automatisiert bewerkstelligen. Man muss "höchstens" aufpassen, dass man nicht "zuviel" erwischt. Es ginge dabei um eine Volltextsuche über den kompletten Posting-Bestand -- wird wohl einiges an (Rechen-)Zeit in Anspruch nehmen.

Es dürfte sich um passende SQL Kommandos auf über 1 Millionen Einträge handelt. Ich denke schon, dass das in vertretbarer Zeit machbar ist. Es muss halt nur jemand machen.

 

Viele Grüße

Harry

 

Also schon   liefert bei Google für das Forum folgende Ausgabe:

Ergebnisse 1 - 10 von ungefähr 11.300 aus midgard-forum.de für  
, d.h. hier von Hand ran zu gehen ist wirklich illusorisch. Leider kenne ich mich mit SQL nicht aus, sonst würde ich mich vl hinsetzen und sowas schreiben.

Gibt es jemand anderen, der das machen könnte?

 

 

Mfg Yon

comment_1154256
Also schon   liefert bei Google für das Forum folgende Ausgabe:
Ergebnisse 1 - 10 von ungefähr 11.300 aus midgard-forum.de für  
, d.h. hier von Hand ran zu gehen ist wirklich illusorisch. Leider kenne ich mich mit SQL nicht aus, sonst würde ich mich vl hinsetzen und sowas schreiben.

Gibt es jemand anderen, der das machen könnte?

Die größte Schwierigkeit ist herauszufinden, ob das wirklich ' ' steht oder ' ', entsprechend '&amp' für '&amp' und '<span ...>' für '<span ...>'. Das bedeutet, bevor man die SQL Kommandos adäquat absetzen kann, muss man erst mal schauen, wie so ein Beitrag im Quelltext überhaupt aussieht. Erst nach der Analyse kann man die passenden SQL Kommandos schreiben.

 

Ich bin mir allerdings nicht sicher, ob man mit SQL Stringoperationen durchführen kann. Wenn nicht, müsste man das zum Beispiel in PHP schreiben.

 

Viele Grüße

Harry

  • Ersteller
comment_1154263

Das haben wir schonmal versucht. Rana hat ein Programm gschrieben, das diese HTML-Schnipsel wieder in BB-Codes umgsetzt hat. Das Ganze hat sich aber bei Testläufen als zu Komplex herausgestellt, sodass wir unsere Versuche abgebrochen haben.

 

Das Programm müßte ineinander verschachtelte Quotes verstehen, Font-Anweisungen etc. (sagte ich schon, dass all das noch ineinander verschachtelt sein kann?).

 

Das Hauptproblem war, dass ich nur raten kann welche HTML-Anweisung genau für welchen BB-Code steht. Es gibt immer einen Fall, den das Progamm nicht abdeckt und dshalb ganze Beiträge zerschießt.

 

Wie will man das kontrollieren? Wer schaut sich die Beiträge an um festzustellen, dass wieder der alte DB-Stand zurückgesichert werden muss? Vor allem muss das Zeitnah erfolgen. Die Prüfung muss abgeschlossen sein bevor das Forum wieder online geht.

 

Viele Grüße

hj

comment_1154267
Also schon   liefert bei Google für das Forum folgende Ausgabe:
Ergebnisse 1 - 10 von ungefähr 11.300 aus midgard-forum.de für  
, d.h. hier von Hand ran zu gehen ist wirklich illusorisch. Leider kenne ich mich mit SQL nicht aus, sonst würde ich mich vl hinsetzen und sowas schreiben.

Gibt es jemand anderen, der das machen könnte?

Die größte Schwierigkeit ist herauszufinden, ob das wirklich ' ' steht oder ' ', entsprechend '&amp' für '&amp' und '<span ...>' für '<span ...>'. Das bedeutet, bevor man die SQL Kommandos adäquat absetzen kann, muss man erst mal schauen, wie so ein Beitrag im Quelltext überhaupt aussieht. Erst nach der Analyse kann man die passenden SQL Kommandos schreiben.

 

Ich bin mir allerdings nicht sicher, ob man mit SQL Stringoperationen durchführen kann. Wenn nicht, müsste man das zum Beispiel in PHP schreiben.

 

Viele Grüße

Harry

 

Ob man das in SQL machen kann: das kommt auf viele Faktoren an. Welches DBMS wird eingesetzt, von welchem Typ sind die betreffenden Spalten (CLOB, BLOB, ...), ...

comment_1154271
Das haben wir schonmal versucht. Rana hat ein Programm gschrieben, das diese HTML-Schnipsel wieder in BB-Codes umgsetzt hat. Das Ganze hat sich aber bei Testläufen als zu Komplex herausgestellt, sodass wir unsere Versuche abgebrochen haben.

 

Das Programm müßte ineinander verschachtelte Quotes verstehen, Font-Anweisungen etc. (sagte ich schon, dass all das noch ineinander verschachtelt sein kann?).

Vielleicht können wir mal Gehirnschmalz zusammenschmeißen.

 

Viele Grüße

Harry

comment_1154275
Das haben wir schonmal versucht. Rana hat ein Programm gschrieben, das diese HTML-Schnipsel wieder in BB-Codes umgsetzt hat. Das Ganze hat sich aber bei Testläufen als zu Komplex herausgestellt, sodass wir unsere Versuche abgebrochen haben.

 

Das Programm müßte ineinander verschachtelte Quotes verstehen, Font-Anweisungen etc. (sagte ich schon, dass all das noch ineinander verschachtelt sein kann?).

 

Das Hauptproblem war, dass ich nur raten kann welche HTML-Anweisung genau für welchen BB-Code steht. Es gibt immer einen Fall, den das Progamm nicht abdeckt und dshalb ganze Beiträge zerschießt.

 

Wie will man das kontrollieren? Wer schaut sich die Beiträge an um festzustellen, dass wieder der alte DB-Stand zurückgesichert werden muss? Vor allem muss das Zeitnah erfolgen. Die Prüfung muss abgeschlossen sein bevor das Forum wieder online geht.

 

Viele Grüße

hj

 

So ganz verstehe ich das nicht. Was muss in BB-Codes umgesetzt werden? "Von außen" sieht das Problem so aus, als würde normalerweise z. B. das '&' so in der DB stehen und 'on-the-fly' (durch die Foren-Software oder eine PHP-Funktion) zu einem '&' transformiert. Zu einem früheren Zeitpunkt sind aber wohl die named entities in die DB geschrieben worden. Die werden jetzt fälschlicherweise "escaped" und damit fehlerhaft dargestellt.

  • Ersteller
comment_1154278

Nee, das sind echte HTML-Schnipsel. Die stammen noch auch der Zeit, als wir hier Ikonboard als Forumssoftware verwendet haben.

 

Ikonboard hat in der Datenbank BB-Codes wie z.B. FONT, QUOTE, IMG, sogar die Anzeige von Smilies in HTML-Code umgewandelt und so gespeichert.

 

Viele Grüße

hj

  • Ersteller
comment_1154279

Als nächstes steht übrigens die Umstellung des Forums nach UTF8 an. Im Moment abeitet das Forum nicht ordentlich mit dem CMS zusammen, weil das CMS mit UTF8 arbeitet, das Forum mit latin1. Das führt dazu, dass Benutzer mit Umlauten sich nicht anmelden können. :disgust:

 

Viele Grüße

hj

comment_1154282
Nee, das sind echte HTML-Schnipsel. Die stammen noch auch der Zeit, als wir hier Ikonboard als Forumssoftware verwendet haben.

 

Ikonboard hat in der Datenbank BB-Codes wie z.B. FONT, QUOTE, IMG, sogar die Anzeige von Smilies in HTML-Code umgewandelt und so gespeichert.

 

Viele Grüße

hj

 

Ok, ich glaube dann haben wir ein wenig aneinander vorbeigeredet. Es wäre sicherlich schön, wenn man alle Altlasten begradigen könnte, aber da habe ich mir von vornherein keine Hoffnungen gemacht (also z.B. bzgl. kaputte Quotes und fehlerhafte Schriftformatierungen). Ich hatte zunächst an eine Ersetzung der named entities gedacht ...

comment_1154285
Als nächstes steht übrigens die Umstellung des Forums nach UTF8 an. Im Moment abeitet das Forum nicht ordentlich mit dem CMS zusammen, weil das CMS mit UTF8 arbeitet, das Forum mit latin1. Das führt dazu, dass Benutzer mit Umlauten sich nicht anmelden können. :disgust:

 

Viele Grüße

hj

 

Da gibt es sehr schön diffizile Längenbeschränkungen bei MySQL im Zusammenhang im UTF-8. Viel Spaß dabei ;)

 

Achja, als Tipp: falls die Konvertierungsfunktion von MySQL nicht will, kann es hilfreich sein einen SQL-Export zu machen und dann die Daten mit INSERTs wieder reinzupumpen (in die "neue" UTF-8 Tabelle).

Bearbeitet ( von Gast)
EDIT: Tipp hinzu

  • Ersteller
comment_1154290
Also ich kann meine AWK Kenntnisse anbieten. Falls es wirklich so komplex ist, wie HJ sagt, würden wir um eine vollwertige yacc/bison Implementierung nicht herumkommen.

Das schwierige ist weniger die Umsetzung. Das hatte Rana ganz gut im Griff. Das Problem war die Identifizierung der umzusetzenden Kombinationen.

 

Viele Grüße

hj

comment_1154440
Um Mitternacht fahre ich das Forum wieder runter.

 

Viele Grüße

hj

 

 

Ich drücke beide Daumen:thumbs:

 

Gibts dann wieder so tolle Fehlermeldungen wie heute?

So eine Fülle variierender Fehlermeldungen hatte ich noch nie.

Teilweise wurde mir sogar angeboten mich als Administrator einzuloggen, dann war es ein Database Error, dann ein Fehler im Forum selbst, dann stand da mal ein englischer Text, dann ein deutscher wirklich sehr nett.

Ich habe alle paar Minuten geschaut ob es wieder eine neue Meldung gibt.

:lol:

 

Nicht zu toppen ist trotzdem die Fehlermeldung von youtube:

Sorry, something went wrong.

A team of highly trained monkeys has been dispatched to deal with this situation. [..]

:rotfl:

 

Naja dir bei den Forumswartungsaktionen viel Erfolg.

 

 

Mfg Yon

comment_1154704
Also ich kann meine AWK Kenntnisse anbieten. Falls es wirklich so komplex ist, wie HJ sagt, würden wir um eine vollwertige yacc/bison Implementierung nicht herumkommen.

Das schwierige ist weniger die Umsetzung. Das hatte Rana ganz gut im Griff. Das Problem war die Identifizierung der umzusetzenden Kombinationen.

 

Viele Grüße

hj

 

Man könnte die Migration der betreffenden Daten ja auch offline vornehmen. Also erst die betreffenden Postings exportieren, dann transformieren und dann wieder importieren. Dann könnte man in Ruhe ein wenig grübeln.

Erstelle ein Konto, um zu kommentieren

Kürzlich Online 0

  • Kein Mitglied betrachtet die Seite.

Wichtige Informationen

Wir setzen Cookies, um die Benutzung der Seite zu verbessern. Du kannst die zugehörigen Einstellungen jederzeit anpassen. Ansonsten akzeptiere bitte diese Nutzung.

Browser-Push-Nachrichten konfigurieren

Chrome (Android)
  1. Klicke das Schloss-Symbol neben der Adressleiste.
  2. Klicke Berechtigungen → Benachrichtigungen.
  3. Passe die Einstellungen nach deinen Wünschen an.
Chrome (Desktop)
  1. Klicke das Schloss-Symbol in der Adresszeile.
  2. Klicke Seiteneinstellungen.
  3. Finde Benachrichtigungen und passe sie nach deinen Wünschen an.