Überprüfen Sie große Dateien mit Trennzeichen, ohne jede Zeile auf einmal zu laden
CSV ist eine Familie von Konventionen und kein vollkommen einheitliches Format. Trennzeichen, Anführungszeichen, eingebettete Zeilenumbrüche, Kodierungen und ungleiche Zeilenlängen wirken sich alle darauf aus, wie eine Datei angezeigt wird.
Der Viewer liest überschaubare Bereiche und erstellt Lesezeichen für spätere Teile einer großen Datei. Es ist für Inspektionen und geringfügige Korrekturen konzipiert und nicht als Ersatz für eine Datenbank oder eine vollständige Tabellenkalkulations-Engine.
CSV ist eine Konvention mit vielen Dialekten
Komma-, Semikolon-, Tabulator- und Pipe-Trennzeichen sind üblich. Felder in Anführungszeichen können Trennzeichen und Zeilenumbrüche enthalten, während Anführungszeichen mit Escapezeichen eine konsistente Handhabung erfordern.
Ein falsches Trennzeichen kann zu einer riesigen Spalte führen. Ein unterbrochenes Anführungszeichen kann Tausende späterer Zeilen verschieben. Untersuchen Sie Rohtext in der Nähe der ersten Anomalie, anstatt jede verschobene Zelle zu korrigieren.
Kodierungsfehler sehen aus wie Datenfehler
UTF-8 ist weit verbreitet, aber nicht universell. Ältere Kodierungen können akzentuierte Buchstaben und Symbole in Ersatzzeichen oder irreführende Bytesequenzen umwandeln.
Konvertieren Sie bei Bedarf eine Kopie mit einem bekannten Codierungstool, öffnen Sie sie dann erneut und vergleichen Sie eine Auswahl von Namen und Nicht-ASCII-Text.
Die Bereichsnavigation verändert die Art und Weise, wie Sie Bewertungen vornehmen
Der Viewer zeigt überschaubare Zeilenbereiche an und zeichnet periodische Offsets auf, um spätere Sprünge praktisch zu machen. Dadurch wird der Aufbau einer riesigen DOM-Tabelle für die gesamte Datei vermieden.
Probenahme schafft Verantwortung: Prüfen Sie frühe, mittlere, späte und Grenzbereiche. Saubere erste hundert Zeilen sagen wenig über fehlerhafte Datensätze am Ende aus.
Exporte brauchen eine unabhängige Abstimmung
Durch Bearbeitungen und Serialisierung können Zitate, Zeilenenden oder Darstellungen geändert werden, selbst wenn sichtbare Werte gleich aussehen. Speichern Sie unter einem neuen Dateinamen und behalten Sie die Quelle bei.
Öffnen Sie den Export in einem zweiten Parser, vergleichen Sie die Zeilen- und Spaltenanzahl und überprüfen Sie bearbeitete Zeilen und ihre Nachbarn stichprobenartig. Verwenden Sie für kritische Transformationen eine reproduzierbare Datenpipeline anstelle manueller Bearbeitungen.
Schützen Sie die Zeilenbedeutung beim Bearbeiten und Exportieren
Eine kleine Änderung kann mehr als eine Zelle ändern, wenn Trennzeichen, Anführungszeichen, Zeilenende oder Kodierungsannahmen zwischen Quelle und Ziel unterschiedlich sind. Notieren Sie vor der Bearbeitung das erkannte Trennzeichen, die Headernamen und die ungefähre Zeilenanzahl. Öffnen Sie nach dem Export die neue Datei erneut als neue Eingabe und überprüfen Sie Zeilen mit Kommas, Anführungszeichen, Nicht-ASCII-Zeichen, leeren Werten und eingebetteten Zeilenumbrüchen. Vergleichen Sie einige stabile Bezeichner mit der Quelle, sodass verschobene Spalten offensichtlich sind. Wenn ein anderes System das Ergebnis importiert, verwenden Sie zunächst einen Testimport außerhalb der Produktion und halten Sie die unberührte Quelle für Rollback und Vergleich bereit.
Schnellstart: LocalUtils
- Öffnen Sie eine Kopie der Datei und bestätigen Sie, dass das erkannte Trennzeichen sinnvolle Spalten erzeugt.
- Überprüfen Sie den Header und den ersten Bereich, bevor Sie tiefer in die Datei springen.
- Verwenden Sie die Zeilennavigation, um spätere Bereiche zu überprüfen. Lesezeichen werden regelmäßig erstellt, um zu vermeiden, dass bei jedem Sprung von Anfang an eine erneute Analyse durchgeführt wird.
- Nehmen Sie nur absichtliche Änderungen vor, speichern Sie einen Export und vergleichen Sie die Zeilenanzahl und kritischen Spalten mit der Quelle.
Was der Browser macht
Papa Parse übernimmt die CSV-Analyse in einem Worker. Der Viewer stellt Bereiche von etwa 100 Zeilen bereit und zeichnet Dateiversätze in Abständen von etwa 10.000 Zeilen auf, um die Suche zu beschleunigen.
Die ausgewählte CSV-Datei wird vom Browser gelesen und nicht auf einen LocalUtils-Parsing-Server hochgeladen. Dateikodierungen und Parserverhalten bestimmen immer noch, ob jedes Zeichen und jedes Feld in Anführungszeichen richtig interpretiert wird.
Ein- und Ausgänge
- Eingabe: durch Trennzeichen getrennte Textdateien, die über die Datei-API des Browsers lesbar sind.
- Ansicht: Seitenbereiche mit erkannten Spalten und Zeilennavigation.
- Ausgabe: eine exportierte CSV-Datei, die die unterstützten Änderungen widerspiegelt; Tabellenkalkulationsformeln und Arbeitsmappenfunktionen liegen außerhalb des Formats.
Grenzen, die Sie kennen sollten, bevor Sie beginnen
- Die Kodierungserkennung ist begrenzt; Eine Datei muss möglicherweise in UTF-8 konvertiert werden.
- Durch fehlerhafte Anführungszeichen oder eingebettete Zeilenumbrüche können Spalten verschoben werden.
- Bearbeitungen sind Browser-Speichervorgänge und kein transaktionaler Datenbank-Workflow.
- Sehr breite Zeilen, große Felder oder begrenzter Gerätespeicher können die Reaktionsfähigkeit dennoch beeinträchtigen.
Checkliste zur Verifizierung
- Vergleichen Sie Header-Namen, Zeilenanzahl und Trennzeichen mit der Quelle.
- Untersuchen Sie die frühen, mittleren und letzten Bereiche und nicht nur den ersten Bildschirm.
- Öffnen Sie den Export in einem anderen Parser und überprüfen Sie die bearbeiteten Zellen und umgebenden Zeilen stichprobenartig.
Fehlerbehebung
- Wenn alle Daten in einer Spalte angezeigt werden, wählen Sie das richtige Trennzeichen oder überprüfen Sie die Quelle mit einem Texteditor.
- Wenn Akzente falsch aussehen, konvertieren Sie vor dem erneuten Öffnen eine Kopie in UTF-8.
- Wenn die Zeilenanzahl unterschiedlich ist, prüfen Sie, ob Zeilenumbrüche in Anführungszeichen, leere nachgestellte Datensätze und Parser-Warnungen vorliegen.
Fragen, die Menschen stellen
Warum zeigt Excel etwas anderes an?
Tabellenkalkulationssoftware wendet ihre eigenen Regeln für Trennzeichen, Gebietsschema, Datum, Formel und Typinferenz an. CSV selbst speichert Textfelder, keine Arbeitsmappentypen.
Kann eine CSV-Datei eine Formel enthalten?
Ein Feld kann mit Formelzeichen beginnen und von der Tabellenkalkulationssoftware beim Öffnen ausgeführt werden. Gehen Sie mit nicht vertrauenswürdigen Exporten vorsichtig um.
Warum unterscheidet sich die endgültige Zeilenanzahl?
Leere Datensätze, Zeilenumbrüche in Anführungszeichen, fehlerhafte Zeilen und die Parserkonfiguration können alle dazu führen, dass sich die Zählung als Zeile ändert.