Skip to content

feat: 記号や空白の連続を許可するオプションを追加 - #36

Merged
azu merged 2 commits into
textlint-ja:masterfrom
b84330808:fix/ignore-successive-symbols
Oct 28, 2026
Merged

azu merged 2 commits into
textlint-ja:masterfrom
b84330808:fix/ignore-successive-symbols

Conversation

@b84330808

@b84330808 b84330808 commented Oct 21, 2026 •

Copy link
Copy Markdown
Contributor

fixes #8

「……」「!!」「??」「○○」や全角スペースの連続を許可するオプションを追加しました。レビューでの提案どおり、文字のリストではなく kuromoji の品詞(記号 / 一般、記号 / 空白)で判定しています。

  • allowSymbol(デフォルト false): 記号の連続を許可する
  • allowSpace(デフォルト false): 空白の連続を許可する。全角スペース以外の空白は連続しても1つのトークンになるので、実質的には全角スペースが対象
  • ww は既存の allow: ["w"] で許可できるので、README に例を追加

どちらもデフォルトは false なので、デフォルトの動作は変わりません。

テスト

  • オプションを有効にすると うーん……。、すごい!!、本当??、○○する、全角スペース2つが通り、allow: ["w"] で そうなんだww が通る
  • デフォルトでは すごい!!、○○する、全角スペース2つ、そうなんだww が引き続き報告される
  • allowSymbol だけでは全角スペースの連続は許可されない

この変更は Claude Code を使って書きました。

"……" や "!!"、全角スペースの連続など、ひらがな・カタカナ・漢字を
含まないトークンが連続している場合はエラーにしないようにした。
"Tシャツ" のようにひらがな・カタカナ・漢字を含む単語の連続は
引き続き報告する。

Fixes #8

Co-Authored-By: Claude Opus 5.5 <[email protected]>

@azu azu left a comment •

Copy link
Copy Markdown
Member

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

それぞれオプションにした方が良いと思います。

  • …… や !! などは技術文書などでは避ける記述であるため
  • ○○ とかも技術文章などでは避ける表現だと思います
    • allowPlaceholderWord?
    • … ! ○とか含めてこれは記号でまとめるといいのかな
  •   は間違って書いてる場合があります
    • allowSpace?
  • ww はちょっと意味付けできないスラングだと思います allowを使えば良いと思いました
    • もしくは全角アルファベットをallowするみたいなオプションになるのかもしれないです。

一つのオプションというよりは意味で分けたい気がします。

azu commented Oct 21, 2026 •

Copy link
Copy Markdown
Member

Note

このコメントは @azu の依頼で Claude (Claude Code) が書いて投稿しています。

前回のレビューの補足です。kuromoji がこれらのケースをどう分割するかを確認したところ、品詞の細分類(pos_detail_1)ですでに種類が分かれていました。そのため、文字のリストを自前で持たなくても、意味ごとにオプションを分けられそうです。

テキスト トークン(surface_form / pos / pos_detail_1)
…… !! ?? ○○ … / 記号 / 一般(1 文字ずつ別のトークン)
  (全角スペース)   / 記号 / 空白(1 文字ずつ別のトークン)
ww w / 記号 / アルファベット
〇〇(漢数字のゼロ) 〇 / 名詞 / 数(既存の漢数字の例外で無視される)
!! ??(半角) !! / 名詞 / サ変接続(1 つのトークンなので報告されない)

空白については、半角スペース、タブ、ノーブレークスペース(U+00A0)、en/em/thin スペース(U+2002〜U+200A)、ゼロ幅スペース(U+200B)なども試しましたが、どれも連続していると 1 つのトークンにまとまるため、そもそも報告されません。1 文字ずつ分かれるのは全角スペース(U+3000)だけでした。

コードのイメージは次のような感じです。どちらのオプションもデフォルトは false にして、今の動作(デフォルトでは報告する)を変えないようにしています。

const DefaultOptions = {
    allowOnomatopee: true,
    // 記号の連続を許可する
    // 例) "……"、"!!"、"??"、"○○"
    allowSymbol: false,
    // 空白の連続を許可する
    // 実質的には全角スペースの連続が対象(他の空白は連続しても1つのトークンになる)
    allowSpace: false,
    allow: []
};

function isSymbolToken(token) {
    return token.pos === "記号" && token.pos_detail_1 === "一般";
}

function isSpaceToken(token) {
    return token.pos === "記号" && token.pos_detail_1 === "空白";
}

// reportIfMatch の中、`prevWord !== currentWord` のチェックの後
if (allowSymbol && isSymbolToken(prevToken) && isSymbolToken(nextToken)) {
    return;
}
if (allowSpace && isSpaceToken(prevToken) && isSpaceToken(nextToken)) {
    return;
}

補足:

  • ○ は品詞では ! や … と区別できません(どれも 記号/一般)。なので allowSymbol 1 つにまとめるので良いと思います。allowPlaceholderWord として分けたい場合は、○、×、* のような文字のリストを明示的に持つ必要があります。
  • allowSpace は品詞(記号/空白)だけで判定するので、文字の比較は不要です。実際に効くのは全角スペースの連続だけなので、README にもそう書いておくと分かりやすいと思います。
  • ww は、既存の allow オプションで allow: ["w"] と書けば対応できます。全角アルファベット専用のオプションは不要かなと思います。
  • この方針だと isJapaneseWord のチェックは不要になります。今回追加した valid のテストはオプションを有効にしたケースに移し、デフォルトのケース(すごい!!、○○する、  、ww)は invalid のテストになる想定です。

このブランチの上で手元で試したところ、テストはすべて通りました(25 passing)。


Generated by Claude Code

レビューでの提案に合わせて、文字による判定をやめ、kuromoji の品詞で
判定する allowSymbol と allowSpace オプションに変更した。どちらも
デフォルトは false なので、デフォルトの動作は変わらない。

Co-Authored-By: Claude Opus 5.5 <[email protected]>
@b84330808 b84330808 changed the title fix: 記号や空白の連続を報告しないようにする feat: 記号や空白の連続を許可するオプションを追加 Oct 22, 2026
@b84330808

Copy link
Copy Markdown
Contributor Author

ありがとうございます!提案いただいた形で allowSymbol と allowSpace を追加しました(どちらもデフォルト false)。isJapaneseWord は削除して、テストと README も合わせて更新しています。

@azu azu left a comment

Copy link
Copy Markdown
Member

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

LGTM

@azu
azu merged commit a1bce49 into textlint-ja:master Oct 28, 2026
3 checks passed
@github-actions github-actions Bot mentioned this pull request Oct 28, 2026
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

記号を許可する RegExp Like 表現

2 participants