JSON gezielt validieren, formatieren, verkleinern und bereinigen
Bei JSON sind Anführungszeichen, Kommas, Klammern und Werttypen streng. Durch die Formatierung kann ein Dokument lesbar gemacht werden, während durch die Minimierung unbedeutende Leerzeichen entfernt werden. Keiner dieser Vorgänge ändert die Sensibilität der Daten.
Der Scrubber wendet vom Benutzer ausgewählte Feldnamenregeln an, nachdem gültiges JSON analysiert wurde. Es handelt sich um eine Annehmlichkeit für vorhersehbare Strukturen, nicht um einen semantischen Datenschutzdetektor, und verschachtelte Werte können immer noch dieselben Informationen unter einem anderen Schlüssel oder innerhalb von Freitext offenbaren.
Die Syntaxvalidierung ist das erste Tor
Ein JSON-Parser prüft Anführungszeichen, Kommas, Klammern und unterstützte Werttypen. Es weiß nicht, ob ein Datum möglich ist, ein Bezeichner die richtige Länge hat oder ein erforderliches Geschäftsfeld fehlt.
Behandeln Sie erfolgreiches Parsen als Erlaubnis zur Strukturprüfung und nicht als Beweis für die Korrektheit. Verwenden Sie einen Schemavalidator, wenn das empfangende System ein Schema definiert.
Formatierung und Minimierung bewahren die Bedeutung nur innerhalb von JSON-Regeln
Einrückungen und unbedeutende Leerzeichen können sich ändern, ohne dass sich die analysierten Werte ändern. Die Schlüsselreihenfolge kann durch eine Implementierung beibehalten werden, sollte jedoch nicht als semantische Bedeutung verwendet werden, sofern in einem separaten Protokoll nichts anderes angegeben ist.
Auch Zahlen können Anlass zur Sorge geben. JavaScript stellt gewöhnliche JSON-Zahlen mit IEEE-754-Verhalten dar, sodass sehr große Ganzzahlen bei der nachgelagerten Verarbeitung an Genauigkeit verlieren können.
Scrub-Werte, nicht nur bekannte Bezeichnungen
Eine Schlüsselregel kann E-Mail- oder Tokenfelder entfernen, wenn Namen vorhersehbar sind. Derselbe Wert kann unter einem anderen Schlüssel, in einer Protokollnachricht, in einer URL oder codiert in einer verschachtelten Zeichenfolge verbleiben.
Suchen Sie nach dem Scrubben nach den Originalwerten und prüfen Sie Arrays und tief verschachtelte Objekte. Die Anonymisierung erfordert eine umfassendere Datenrisikoanalyse als das Löschen einiger weniger Eigenschaften.
Merken Sie sich die lokale Persistenz und den Verlauf der Zwischenablage
Der Formatierer speichert aktuelle Eingaben und Einstellungen in localStorage. In einem freigegebenen Profil kann ein anderer Benutzer diesen Status erneut öffnen, bis er gelöscht wird.
Durch das Kopieren der Ausgabe wird diese möglicherweise in den Verlauf des Betriebssystems oder des Zwischenablage-Managers verschoben. Löschen Sie das Tool, vermeiden Sie echte Geheimnisse in Demonstrationen und verwenden Sie eine speziell entwickelte Geheimverwaltung für Anmeldeinformationen.
Definieren Sie die Freigabebedrohung, bevor Sie Scrub-Regeln auswählen
Ein nützliches Scrub beginnt mit dem Empfänger und dem Grund für die Weitergabe. Supportmitarbeiter benötigen möglicherweise einen Fehlercode und einen Zeitstempel, jedoch kein Zugriffstoken, keine Kunden-E-Mail-Adresse, keinen internen Hostnamen oder keinen vollständigen Anfragetext. Notieren Sie die Felder, die erforderlich sind, die Felder, die entfernt werden müssen, und die Werte, die teilweise maskiert werden müssen. Führen Sie den Scrubber aus und suchen Sie dann sowohl nach bekannten Schlüsseln als auch nach erkennbaren Beispielwerten. Denken Sie daran, dass Bezeichner in freiem Text, Arrays, codierten Zeichenfolgen oder unbekannten Eigenschaftsnamen vorkommen können. Wenn viel auf dem Spiel steht, erstellen Sie manuell ein minimales JSON-Beispiel, anstatt einen reduzierten Produktionsdatensatz zu senden.
Schnellstart: LocalUtils
- Fügen Sie eine Kopie des JSON ein oder geben Sie sie ein und validieren Sie sie, bevor Sie Annahmen über die Struktur treffen.
- Verwenden Sie die Formatierung zur Überprüfung und Minimierung nur dann, wenn tatsächlich eine kompakte Darstellung erforderlich ist.
- Konfigurieren Sie Scrub-Regeln für die genauen Feldnamen, die im Dokument verwendet werden, und überprüfen Sie dann jede Ersetzung im Kontext.
- Kopieren oder laden Sie das Ergebnis herunter und validieren Sie es erneut im Zielsystem.
Was der Browser macht
Der Browser analysiert die Eingabe mit JavaScript-JSON-Verarbeitung, wendet rekursiv konfigurierte Schlüsselregeln an und serialisiert das Ergebnis mit oder ohne Einrückung.
Aktuelle Eingabe- und Scrub-Einstellungen werden der Einfachheit halber in localStorage gespeichert. Diese Persistenz ist auf einem persönlichen Gerät nützlich, für vertrauliche Daten in einem gemeinsam genutzten Browserprofil jedoch ungeeignet.
Ein- und Ausgänge
- Eingabe: ein gültiger JSON-Wert, einschließlich eines Objekts, eines Arrays, einer Zeichenfolge, einer Zahl, eines booleschen Werts oder einer Null.
- Ausgabe: formatierter, minimierter oder bereinigter JSON-Text.
- Kommentare, abschließende Kommas, NaN, Infinity und JavaScript-Objektsyntax sind kein Standard-JSON.
Grenzen, die Sie kennen sollten, bevor Sie beginnen
- Ein gültiges Dokument kann immer noch das falsche Schema oder irreführende Werte aufweisen.
- Beim schlüsselbasierten Scrubbing werden Geheimnisse übersehen, die unter unerwarteten Namen gespeichert oder in Text eingebettet sind.
- Große eingefügte Dokumente können den Editor und die Browserspeicherung verlangsamen.
- Durch die Formatierung werden Geschäftsregeln nicht verschlüsselt, anonymisiert oder validiert.
Checkliste zur Verifizierung
- Analysieren Sie die endgültige Ausgabe in einem zweiten JSON-Parser.
- Suchen Sie nach jedem ursprünglichen sensiblen Wert, nicht nur nach dem erwarteten Schlüsselnamen.
- Vergleichen Sie die Anzahl und erforderlichen Felder mit dem Quellschema, bevor Sie das Ergebnis verwenden.
Fehlerbehebung
- Verwenden Sie die gemeldete Position in der Nähe eines Analysefehlers und überprüfen Sie das vorangehende Komma, Anführungszeichen oder die Klammer.
- Wenn sich eine Regel zu stark ändert, schränken Sie die Feldnamenübereinstimmung ein und führen Sie die Regel erneut mit dem Original aus.
- Wenn der Editor langsam wird, verwenden Sie einen dateiorientierten oder Streaming-Workflow, anstatt Multi-Megabyte-Daten einzufügen.
Fragen, die Menschen stellen
Warum schlägt gültiges JSON in meiner API immer noch fehl?
Die API erfordert möglicherweise ein bestimmtes Schema, eine bestimmte Kodierung, eine bestimmte Größe, einen Authentifizierungskontext oder eine Feldsemantik, die über die JSON-Syntax hinausgeht.
Kann die Formatierung eine große Ganzzahl ändern?
Beim Parsen über JavaScript-Zahlenwerte kann es außerhalb des sicheren Ganzzahlbereichs zu Präzisionsverlusten kommen. Speichern Sie solche Bezeichner als Zeichenfolgen, wenn das Schema dies zulässt.
Anonymisiert das Löschen eines Namens einen Datensatz?
Nicht unbedingt. Andere Felder und Kombinationen können dieselbe Person identifizieren und externe Datensätze können eine erneute Identifizierung ermöglichen.