N-gram & TF-IDF 自然言語処理体験ツール
開発ツール文章からN文字・N単語の連続を抽出するN-gram分析と、複数文書間での重要キーワードを統計的にスコアリングするTF-IDF（単語重要度）を視覚的に体験。
分析テキストと設定
文字数: 0
単語数: 0
N-gram 抽出結果一覧
総N-gram数
0
異なりN-gram種
0
最頻出の出現数
0
| # | N-gram | 出現回数 | 割合 | 頻度バー |
|---|---|---|---|---|
| テキストを入力すると解析結果が表示されます | ||||
コーパス (比較する複数の文書)
プリセット:
各文書の特徴的キーワード (TF-IDF Top 5)
全単語の TF・DF・IDF・TF-IDF スコア一覧
| 単語 | DF (出現文書数) | IDF | ||
|---|---|---|---|---|
| 「TF-IDF を計算」ボタンを押すとスコア一覧が表示されます | ||||
N-gram (エヌグラム) とは？
任意の文章を、連続する N個 の文字（または単語）ごとに切り出す手法です。
- Uni-gram (N=1): 「東」「京」「特」「許」
- Bi-gram (N=2): 「東京」「京都」「特許」
- Tri-gram (N=3): 「東京都」「京都特」「特許許」
主な活用分野:
- 全文検索・あいまい検索: 形態素解析辞書にない新しい単語や専門用語でも漏れなくインデックス化できます。
- タイポ検出 & スペルチェッカー: 類似するスペルの提案。
- 言語判定: 言語ごとの文字N-gramの頻度分布から文章の言語を特定。
TF-IDF (単語重要度) とは？
複数の文書の中で、「その文書を代表する特徴的な重要キーワード」をスコアリングする情報検索の代表的手法です。
TF-IDF = TF(単語, 文書) × IDF(単語)
- TF (Term Frequency: 単語頻度):
その文書の中でその単語が何回出てきたか（出現割合）。よく出る単語ほど高くなります。 - IDF (Inverse Document Frequency: 逆文書頻度):
全文書のうち、その単語を含む文書がどれだけ珍しいか。どの文書にも共通して出てくる単語（「の」「です」など）は低くなり、特定の文書にしか出ない珍しい単語ほど跳ね上がります。
これにより、「どの文書でも頻出するありふれた単語」を自動的に除外し、「その文書特有のコアな話題」だけを浮き彫りにします。
AI Overview / 要約 & 仕様
開発ツール
N-gram & TF-IDF 自然言語処理体験ツールの概要
N-gram & TF-IDF 自然言語処理体験ツールは、文章からN文字・N単語の連続を抽出するN-gram分析と、複数文書間での重要キーワードを統計的にスコアリングするTF-IDF（単語重要度）を視覚的に体験。 すべてブラウザ内(JavaScript)で100%完結して実行されるため、外部サーバーへのデータ送信がなく安全かつ高速です。
動作原理・技術規格:
Web標準 ASTパース、構文木解析、正規表現エンジン (ECMAScript RegExp) & WebAssembly
プライバシー保護保証:
完全クライアントサイド実行（JavaScriptメモリ内処理）。外部サーバー送信ゼロ。
主な活用シーン:
- 日常の業務やPC作業におけるN-gram & TF-IDF 自然言語処理体験ツールの迅速な実行
- 機密データや個人情報を安全に扱うためのクライアントサイドローカル処理
- オフライン環境や低速回線でのストレスフリーな作業
セキュリティ仕様 & 特徴
- 処理環境:
- 100% ブラウザ内クライアントサイド (JavaScript)
- データ送信:
- 外部サーバー送信ゼロ (完全ローカル処理)
- 利用料金:
- 完全無料 (登録不要・回数無制限)
- 対応端末:
- PC, Mac, iPhone, iPad, Android (全ブラウザ対応)
- オフライン:
- 一度読み込めばオフラインでも実行可能
使い方の流れ
-
データの入力・設定画面上のフォームにテキストを入力、ファイルを読み込むか、必要なオプションを設定します。
-
リアルタイム自動処理ブラウザ内のJavaScriptエンジンが瞬時に処理を実行し、結果を画面に反映します。
-
結果のコピーまたは保存生成された出力をワンクリックでクリップボードにコピーするか、ファイルとしてダウンロードします。
よくある質問 (FAQ)
はい、完全無料・登録不要（ログインなし）で無制限にご利用いただけます。回数制限や有料プランもありません。
一切送信されません。すべての処理はお使いのブラウザ（クライアントサイドJavaScript）内でのみ完結するため、機密情報も安全に処理できます。
はい。iPhone、Android、iPad、PC等すべてのモダンブラウザに対応しており、一度ページを読み込めばオフラインでも実行可能です。