Repository navigation
feat: 記号や空白の連続を許可するオプションを追加 - #36
Merged
Merged
Conversation
"……" や "!!"、全角スペースの連続など、ひらがな・カタカナ・漢字を 含まないトークンが連続している場合はエラーにしないようにした。 "Tシャツ" のようにひらがな・カタカナ・漢字を含む単語の連続は 引き続き報告する。 Fixes #8 Co-Authored-By: Claude Opus 5.5 <[email protected]>
azu
reviewed
Oct 21, 2026
Member
There was a problem hiding this comment.
それぞれオプションにした方が良いと思います。
- …… や !! などは技術文書などでは避ける記述であるため
○○とかも技術文章などでは避ける表現だと思います- allowPlaceholderWord?
- … ! ○とか含めてこれは記号でまとめるといいのかな
は間違って書いてる場合があります- allowSpace?
wwはちょっと意味付けできないスラングだと思いますallowを使えば良いと思いました- もしくは全角アルファベットをallowするみたいなオプションになるのかもしれないです。
一つのオプションというよりは意味で分けたい気がします。
Member
|
Note このコメントは @azu の依頼で Claude (Claude Code) が書いて投稿しています。 前回のレビューの補足です。kuromoji がこれらのケースをどう分割するかを確認したところ、品詞の細分類(
空白については、半角スペース、タブ、ノーブレークスペース(U+00A0)、en/em/thin スペース(U+2002〜U+200A)、ゼロ幅スペース(U+200B)なども試しましたが、どれも連続していると 1 つのトークンにまとまるため、そもそも報告されません。1 文字ずつ分かれるのは全角スペース(U+3000)だけでした。 コードのイメージは次のような感じです。どちらのオプションもデフォルトは const DefaultOptions = {
allowOnomatopee: true,
// 記号の連続を許可する
// 例) "……"、"!!"、"??"、"○○"
allowSymbol: false,
// 空白の連続を許可する
// 実質的には全角スペースの連続が対象(他の空白は連続しても1つのトークンになる)
allowSpace: false,
allow: []
};
function isSymbolToken(token) {
return token.pos === "記号" && token.pos_detail_1 === "一般";
}
function isSpaceToken(token) {
return token.pos === "記号" && token.pos_detail_1 === "空白";
}
// reportIfMatch の中、`prevWord !== currentWord` のチェックの後
if (allowSymbol && isSymbolToken(prevToken) && isSymbolToken(nextToken)) {
return;
}
if (allowSpace && isSpaceToken(prevToken) && isSpaceToken(nextToken)) {
return;
}補足:
このブランチの上で手元で試したところ、テストはすべて通りました(25 passing)。 Generated by Claude Code |
レビューでの提案に合わせて、文字による判定をやめ、kuromoji の品詞で 判定する allowSymbol と allowSpace オプションに変更した。どちらも デフォルトは false なので、デフォルトの動作は変わらない。 Co-Authored-By: Claude Opus 5.5 <[email protected]>
Contributor
Author
|
ありがとうございます!提案いただいた形で |
Merged
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
fixes #8
「……」「!!」「??」「○○」や全角スペースの連続を許可するオプションを追加しました。レビューでの提案どおり、文字のリストではなく kuromoji の品詞(
記号/一般、記号/空白)で判定しています。allowSymbol(デフォルトfalse): 記号の連続を許可するallowSpace(デフォルトfalse): 空白の連続を許可する。全角スペース以外の空白は連続しても1つのトークンになるので、実質的には全角スペースが対象wwは既存のallow: ["w"]で許可できるので、README に例を追加どちらもデフォルトは
falseなので、デフォルトの動作は変わりません。テスト
うーん……。、すごい!!、本当??、○○する、全角スペース2つが通り、allow: ["w"]でそうなんだwwが通るすごい!!、○○する、全角スペース2つ、そうなんだwwが引き続き報告されるallowSymbolだけでは全角スペースの連続は許可されないこの変更は Claude Code を使って書きました。