JSON分割ツール(行数・ファイルサイズ)
このツールについて
表にできる配列を持つJSON、または1行1オブジェクトのNDJSONを、レコード数・ファイルサイズで分割します。JSONはレコード数の多い配列を自動選択し、候補一覧やパス指定で変更できます。大きな整数や小数、文字列の表記を変えず、分割後も読み込めるJSON / NDJSONとして保存します。保存前にファイル全体を検証し、出力の実バイト数でサイズ上限を守ります。処理はすべてブラウザ内で行われます(データは送信されません)。
ファイルと入力形式
分割するノード
例: /data/items。キー中の / は ~1、~ は ~0 と書きます。
ファイルを選択すると分割するノードの候補を表示します。
表にできる配列のうち、レコード数が最も多いものを選びます。同数なら浅い階層を優先します。候補を確認して変更できます。候補確認が長い場合は中止して、ルートまたは手動指定に切り替えられます。
対応例: [{"id":"001","name":"山田"},{"id":"002","name":"佐藤"}]、[["001","山田"],["002","佐藤"]]、NDJSON。{"data":{"items":[...]}} のような外側の構造がある場合も /data/items を選べます。対象配列ではオブジェクトの行と配列の行を混在させず、NDJSONはオブジェクトだけを使います。数値・文字列だけの一覧は対象外です。
入力形式はファイル選択後に表示します。
先頭プレビュー(文字コード・構造を確認)
先頭の一部だけを表示します。全体の形式と分割可否は、分割開始後の検証で確認します。
分割条件と出力形式
ファイルを選び、プレビューと分割条件を確認してください。
ブラウザのダウンロード完了を確認してから次へ進んでください。先に進むと、このファイルのリンクは使えなくなります。
出力結果
| ファイル名 | レコード数 | サイズ(バイト) |
|---|
画面には最新100ファイルを表示しています。すべての出力ファイルは保存先で確認できます。
使い方
- JSONを選び、先頭プレビューの文字コードとデータ構造を確認します。JSONでは自動選択されたパスとレコード数を確認し、必要なら候補から変更または手動指定します。NDJSON / JSON Linesの場合はデータ形式を合わせます。
- インポート先の制限に合わせて、1ファイルの最大サイズ、またはレコード数を指定します。整形用の改行は行数として数えません。
- 出力文字コードと保存方法を設定し、「検証して分割する」を押します。
- フォルダ保存では選択先の下に専用フォルダを作り、
元の名前_part_000001.json(NDJSONは .ndjson)のように連番で保存します。個別ダウンロードでは1ファイルずつ保存を確認してください。
分割時の扱い・制約
- サイズは圧縮前のファイルそのもので計算します。多バイト文字も実バイト数で数えます。文書の外枠と1レコードだけで上限を超える場合は、保存前に停止して必要なサイズを案内します。
- 対象配列は各出力を
[ ... ]で囲み、レコード間にカンマとLF改行を付けます。対象配列を囲むオブジェクトや前後の共通情報は各ファイルに保持します。NDJSONはレコード間をLFで区切ります。レコード内の文字列・大きな整数・小数・指数表記・-0・キー順を保持し、値の型変換は行いません。 - 同じ種類の行であれば、列の欠けや入れ子の値もそのまま保持します。配列の最初の要素をヘッダとみなしたり、各ファイルに複製したりする処理はありません。空の
[]は1ファイル、空ファイルは出力なしとなります。 - 自動選択では全体を読んで候補を確認します。分割開始後も対象範囲と文書の外側を確認し、構文・文字コード・変換可否・分割サイズを検証してから保存します。末尾に不正なデータがあっても、検証中に出力は作りません。繰り返し保持する共通情報は合計16 MiBまでです。
- ファイル全体をまとめてメモリへ読み込まず、レコード単位で処理します。1レコードは64 MiBまで、個別ダウンロードは1出力ファイル128 MiBまでです。大きなファイルでは、対応するデスクトップブラウザでのフォルダ保存を利用してください。
- 失敗や中止では、今回作った専用フォルダだけを削除します。削除できない場合は保存先を表示します。ダウンロード済みのファイルは削除できないため、未完了の結果はインポートせず削除してください。