| 意味 | 例文 (5件) |
tokenizeとは 意味・読み方・使い方
追加できません
(登録数上限)
単語を追加
意味・対訳 トークン化
「tokenize」を含む例文一覧
該当件数 : 5件
tokenize (standard module)発音を聞く 例文帳に追加
tokenize() (tokenize モジュール) - Python
18.5 tokenize -- Tokenizer for Python source発音を聞く 例文帳に追加
18.5 tokenize -- Pythonソースのためのトークナイザ - Python
tokenize an input stream発音を聞く 例文帳に追加
入力記号列をトークン化する - 研究社 英和コンピューター用語辞典
The tokenize module provides a lexical scanner for Python source code, implemented in Python.例文帳に追加
tokenizeモジュールでは、Python で実装された Pythonソースコードの字句解析器を提供します。 - Python
-
履歴機能
過去に調べた
単語を確認! -
語彙力診断
診断回数が
増える! -
マイ単語帳
便利な
学習機能付き! -
マイ例文帳
文章で
単語を理解! -
Wiktionary英語版での「tokenize」の意味 |
tokenize
出典:『Wiktionary』 (2025/10/16 17:38 UTC 版)
別の表記
- tokenise
発音
- (General American) IPA: /ˈtoʊ.kən.aɪz/
動詞
tokenize (third-person singular simple present tokenizes, present participle tokenizing, simple past and past participle tokenized)
- (transitive, computing) To reduce to a token or set of tokens by lexical analysis.
- (transitive, computing) To substitute sensitive data with meaningless placeholders.
- (transitive) To treat as a token minority.
派生語
- tokenizable
- tokenization
- tokenizer
関連する語
アナグラム
Weblio例文辞書での「tokenize」に類似した例文 |
|
tokenize
する
発令する
to give the details of something one by one by writing
張物する
ねじらせる
申すこと
|
| 意味 | 例文 (5件) |
|
|
tokenizeのページの著作権
英和・和英辞典
情報提供元は
参加元一覧
にて確認できます。
| Copyright (c) 1995-2026 Kenkyusha Co., Ltd. All rights reserved. | |
|
Text is available under Creative Commons Attribution-ShareAlike (CC-BY-SA) and/or GNU Free Documentation License (GFDL). Weblio英和・和英辞典に掲載されている「Wiktionary英語版」の記事は、Wiktionaryのtokenize (改訂履歴)の記事を複製、再配布したものにあたり、Creative Commons Attribution-ShareAlike (CC-BY-SA)もしくはGNU Free Documentation Licenseというライセンスの下で提供されています。 |
ピン留めアイコンをクリックすると単語とその意味を画面の右側に残しておくことができます。 |
ログイン |
Weblio会員(無料)になると
|
検索履歴を保存できる！
みんなの検索ランキング
-
1parachute
-
2reunion
-
3dual
-
4ハッピーバレンタイン
-
5バレンタイン
-
6miss
-
7fast
-
8appreciate
-
9change
-
10present
閲覧履歴
 | 「tokenize」のお隣キーワード |
weblioのその他のサービス
|
ログイン |
Weblio会員(無料)になると
|
