Fun-Soft - Programmierforum

Autor

Thread - Seiten: > 1 <

000
25.01.2012, 17:59 Uhr
KaraHead

Hi,

ich habe eine kleine Grundsatzfrage:
Wir bekommen viele Logdaten aus dem Feld. Die rohdaten sind im CSV-Format. Pro Datei ca. 0.5MB

So, jetzt ist csv ja kein verlässliches und bedienerfreundliches Format, außerdem kommt es vor, dass manche Logdaten teilweise zerstört sind.
Ich versuche schon seit Tagen/Wochen eine Möglichkeit zu finden, die Daten konsistent und sicher zu speichern. Nachgedacht habe ich schon über eine Datenbanklösung und XML-Lösung.

Problem bei der Datenbanklösung: der Aufbau der Logdaten, sprich Spaltenzahl ist nicht immer gleich. Soweit ich weiß, lassen sich Datenbanken nur ungern adhoc anpassen.

Problem bei der XML-Lösung: auch mit sparsamer Definition, wird die XML-Datei ca. 10mal so groß wie die csv-Datei => nicht akzeptabel bei tausenden Logdaten.

Frage: was gibt es denn sonst noch für Möglichkeiten große Datenmengen, strukturiert zu archivieren?

Bemerkung: die Bewertung und Visualisierung der Daten mache ich mit Matlab.

Danke und Gruß

Profil || Private Message || Suche

Download || Zitatantwort || Editieren || Löschen || IP

001
26.01.2012, 22:09 Uhr
ao

(Operator)

Zitat von KaraHead:

So, jetzt ist csv ja kein verlässliches und bedienerfreundliches Format, außerdem kommt es vor, dass manche Logdaten teilweise zerstört sind.

Was genau meinst du mit "verlässlich" und "bedienerfreundlich"? Du willst doch nicht von Hand in diesen Datenbergen herumwühlen, oder?

Und was heißt "teilweise zerstört"?

Profil || Private Message || Suche

Download || Zitatantwort || Editieren || Löschen || IP

002
27.01.2012, 18:20 Uhr
~global
Gast

Zitat von KaraHead:

Soweit ich weiß, lassen sich Datenbanken nur ungern adhoc anpassen.

Also ich passe meine mySQL-Datenbank andauernd an.

Profil || Private Message || Suche

Download || Zitatantwort || Editieren || Löschen || IP

003
27.01.2012, 19:31 Uhr
KaraHead

Zitat von ao:

Was genau meinst du mit "verlässlich" und "bedienerfreundlich"? Du willst doch nicht von Hand in diesen Datenbergen herumwühlen, oder?

Und was heißt "teilweise zerstört"?

naja, damit meine ich, dass man data mining machen kann. XML bietet XPath und eine Datenbank SQL.
Mit zerstört meine ich, dass einige Daten sich in Zeilen und Spaltenanzahl unterscheiden. Nach etwas überlegen, kann man das aber streichen. Zerstörte Datensätze kann ich mittlerweile mit Matlab-Skripten abfangen.
Bleiben nur noch die Anforderungen:
- große Datenmengen schnell durchsuchen und
- große Datenmengen platzsparend abspeichern.

Ich will keine Entscheidung von euch, nur versuche ich mich schlau zu machen, was man noch zum Verwalten und Durchsuchen von großen Datenmengen benutzen kann - sprich Alternativen.
Was davon dann wirklich am besten zu meinen Anforderungen passt, ist erst mal offen.

Danke.

Dieser Post wurde am 27.01.2012 um 19:31 Uhr von KaraHead editiert.

Profil || Private Message || Suche

Download || Zitatantwort || Editieren || Löschen || IP

004
28.01.2012, 11:31 Uhr
FloSoft
Medialer Over-Flow
(Administrator)

Zitat von KaraHead:

Bleiben nur noch die Anforderungen:
- große Datenmengen schnell durchsuchen und
- große Datenmengen platzsparend abspeichern.

das klingt eindeutig für den fall einer datenbank.
--
class God : public ChuckNorris { };

Profil || Private Message || Suche

Download || Zitatantwort || Editieren || Löschen || IP

005
03.02.2012, 12:37 Uhr
KaraHead

Danke euch für die Einschätzung.

Sieht wohl so aus, dass ich mir ein SQL Buch zulegen muss :-)
Ich werde es wohl damit probieren, habe eh keine bessere Alternative gefunden.

Danke!

Profil || Private Message || Suche

Download || Zitatantwort || Editieren || Löschen || IP

Seiten: > 1 < [ Allgemeines (OffTopic) ]

ThWBoard 2.73 FloSoft-Edition
© by Paul Baecher & Felix Gonschorek (www.thwboard.de)

Anpassungen des Forums
© by Flo-Soft (www.flo-soft.de)

Sie sind Besucher: