18種類のPII
氏名、組織名、住所、連絡先、各種IDなどをBIO形式の37ラベルで識別します。
OPEN MODEL Japanese PII token classification
氏名、住所、電話番号、メールアドレスなどを検出する日本語NERモデル。ONNX Runtime Webを使い、テキストをサーバーへ送信せずに試せます。
01 LIVE INFERENCE
入力テキストはブラウザの外へ送信されません
検出箇所・ラベル・信頼度を表示します。
Tokenizer noteこのブラウザデモでは Intl.Segmenter + WordPiece を使用します。学習時のMeCabと分割が異なるため、正式な精度評価ではPython版トークナイザーをご利用ください。
02 ABOUT THE MODEL
日本語テキストから個人を特定しうる情報をトークン単位で抽出するBERTベースのNERモデルです。量子化済みONNXを配布しているため、サーバーだけでなくブラウザやモバイル、エッジ環境にも組み込めます。
Hugging Faceで詳細を見る ↗氏名、組織名、住所、連絡先、各種IDなどをBIO形式の37ラベルで識別します。
ONNX Runtime WebのWasmとWebGPUに対応。入力を外部APIへ渡さない構成を選べます。
配布モデルは約105.4 MiB。ブラウザで扱えるサイズと推論性能のバランスを取っています。
検証からシステム実装まで進めやすい、オープンなモデルとして公開しています。
18 ENTITY TYPES
03 HOW TO USE
Hugging Faceから量子化ONNXと語彙を読み込みます。ラベル定義はconfig.jsonに対応するスナップショットを使用します。
学習時と同じBertJapaneseTokenizerを使い、input_idsとattention_maskを生成します。
サーバーならONNX Runtime、Webならonnxruntime-webでセッションを作成して実行します。
トークンごとのB/Iラベルを文字列の範囲へ戻し、マスキングやレビュー画面へ連携します。
// model runs locally in the browser
const session = await ort.InferenceSession.create(
modelBytes,
{ executionProviders: ["wasm"] },
);
const output = await session.run({
input_ids,
attention_mask,
});MODEL INTEGRATION / CONSULTING
精度検証やチューニング、モデル組み込み、システム開発のご相談はこちらから。
お問い合わせ(白金数理合同会社)↗