機械学習システムの品質保証に向けた課題とコンソーシアム活動

© Hitachi, Ltd. 2018, 2019. All rights reserved.
株式会社日立製作所研究開発グループ
システムイノベーションセンタ主管研究員
ソフトウェアモダナイゼーションラボ長
小川秀人
機械学習システムの
品質保証に向けた課題と
コンソーシアム活動

目次
1
１．自己紹介など
２．機械学習の概況
３．機械学習の特徴と品質に関する課題
４．機械学習の利活用における留意点
５．機械学習の品質に関する議論
６．社会的コンセンサス形成への動き
７．まとめ

1.1 自己紹介：小川秀人
2
ソフトウェア工学の企業内研究者学生時代は…
『ペンギンは鳥』ソフトウェアテスティング
形式手法
開発プロセス
ソフトウェアプロダクトラインなど
弊社グループ向けのソフト開発技術の研究と適用が主な仕事
いわゆる「組込みソフト」と呼ばれる製品たち
（とITシステムも少し）
『鳥は飛ぶ』
『ペンギンは飛べない』
矛盾
第２次ＡＩブーム
博士（情報科学）

目次
3
７．まとめ

2.1 ＡＩに関する概念の整理
4
人工知能（AI）
強いＡＩ弱いＡＩ
人間と同等の知能の実現人間のような知的処理の実現
ルールベース
機械学習
メタヒューリスティクス
エキスパートシステム
深層学習
（Deep Learning,
Deep Neural Network）
決定木学習
クラスタリング
などなど
進化的アルゴリズム群知能（蟻コロニーなど）
サポートベクターマシン
BRMS

2.2 AI市場の概況
5
世界市場 300兆円超へ拡大
(2025)
深層学習が「過度な期待」のピーク期
会話型AIプラットフォームが黎明期など
10.3
95.1
317.9
0
50
100
150
200
250
300
350
2015年 2020年 2025年
人工知能市場の
世界需要額見通し
JEITA, 調査統計ガイドブック2017-2018のデータを整形
[兆円]
先進テクノロジのハイプ・サイクル：2018年
ガートナー (2018.8)
関連するテクノロジの強調は小川が追記

2.3 AI技術の概況
6
技術的には深層学習が主流
（特に画像処理）
0
100
200
300
400
500
600
700
800
900
2014 2015 2016 2017
DL DL以外
コンピュータビジョンに関する
国際会議CVPRの論文数推移
ソフトウェア工学でのアプローチも増加
0
2000
4000
6000
8000
10000
12000
2008 2009 2010 2011 2012 2013 2014 2015 2016 2017 2018
"Software Engineering"とのアンド条件で
ヒットするgoogle scholarの文献数
Artificial Intelligence Machine Learning
Neural Network Deep Learning
深層学習深層学習以外

2.4 機械学習を使った製品・サービスの例
7
リソース
最適配置
製造物
検査
生産
最適化
認識
判断
制御

2.5 (例)最適配置問題
8
どこに何台を配備しておけば
最適に業務を遂行できるか
⇒過去データに基づき到着時間を予測
※実際のデータではありません
全体最適
・平均到着時間を最短に
・コストを最低に
個別最適
・どこでも
今までより早く安く
要件
制約準拠
・必ず30分以内に
・ありえない経路がない
機械学習を用いることで、要件の満足に生じる課題はあるか？

目次
9
７．まとめ

3.1 機械学習と品質に関する議論
10
SQiP ソフトウェア品質シンポジウム
https://www.juse.jp/sqip/symposium/
CEATEC
https://regist.ceatec.com/?act=ConferencesList&event_id=7
組込みシステム産業振興機構 WINK
https://www.kansai-kumikomi.net/wink/seminar_registration/

3.2 なぜ品質議論が盛んになっているのか
11
人工知能あるいは機械学習への
過剰な期待と不安感
◎ 適切な理解に基づく、適正な利活用による
社会およびビジネスの発展
× 過剰な期待による、失望
不安感による、利活用の抑制

3.3 AIプロダクト品質保証(QA4AI)コンソーシアム
12
機械学習をはじめとするAI技術は進化しながら普及の一途を辿り、様々な産業の
競争力の源泉となるだけでなく、既存の産業構造を破壊・変革し、新たな産業を創出
しています。それに伴い、AI技術を用いた製品やサービス（AIプロダクト）が生活や
社会、経済に及ぼす影響も大きくなってきています。
しかし、従来型のハードウェアやソフトウェア、サービスなどに比べ、品質の把握、評価、
説明、管理など品質保証技術の確立が進んでいません。特に、機械学習ではデータの
学習によりふるまいが帰納的に決定されるため、「従来型のソフトウェアに対する品質
保証手段が利用困難」「開発プロセスの管理による品質保証が困難」といった特質があ
ります。
一方で、AI技術の進歩が社会に大きな価値をもたらすことが期待されています。
AI技術が安心して活用され進化できるようにするため、従来の発想にとらわれない、
ブレークスルーが求められています。
このため、AIプロダクトに対する品質保証技術の調査・体系化、適用支援・応用、
研究開発ともに、AIプロダクトの品質に対して、技術的特質を踏まえた適切な
理解を社会が持ちうる啓発活動を行うため、様々な技術と知恵を結集できる
コンソーシアムを設立します。
プレスリリース(2018.3.26)より
2018.4.1設立 http://qa4ai.jp/

3.4 機械学習に対する不安感(1)
13
https://www.tesla.com/jp/blog/tragic-loss
■事例１ 2016年のTesla自動運転車の事故
• Autopilotの総計130 million milesの走行で初めて起きた死亡事故
• 全世界では、人運転で60 million milesに一度の事故発生頻度
• 全米では、94 million milesに一度
• 『Autopilotも運転手も、眩しい空に対してトレーラーの
白い側面を認識できず、ブレーキをかけなかった』
http://www.dailymail.co.uk/news/article-3677101/Tesla-toldregulators-fatal-Autopilot-crash-nine-days-happened.html

3.5 機械学習に対する不安感 (2)
14
■事例２ Google Photosの画像認識
Twitter @jackyalcine
• ユーザの画像に対して、自動的にタグをつける機能
• 黒人に対して、「ゴリラ」とタグづけしたことが、Twitterで拡散し問題化
• ２年後、googleは、「ゴリラ」を禁止語とすることで対処した
https://www.theguardian.com/technology/2018/jan/12/google-racism-ban-gorilla-black-people

3.6 機械学習に対する不安感 (3)
15
■事例３ Amazonが採用AI開発を停止
https://www.reuters.com/article/amazoncom-jobs-automation/insight-amazon
-scraps-secret-ai-recruiting-tool-that-showed-bias-against-women-idUSL2N1VB1FQ
• 応募用紙の記載によって
応募者を選考するAIを
2014年から開発
• 2015年に、男女差なく評価
できていないことに気づいた
• 学習した実績が男性に偏り
• 結果 “women’s”といった
文字列を含む応募を
低評価していた
• 本件に関する修正はしたが
新たに同様の問題が起こる
可能性を否定できないため
開発を停止

© Hitachi, Ltd. 2018, 2019. All rights reserved. 16
■事例４優れた識別器でも間違う研究事例 (Adversarial Examples)
Eykholt, Kevin, et al. "Robust Physical-World Attacks
on Deep Learning Visual Classification."
Proceedings of the IEEE Conference on
Computer Vision and Pattern Recognition. 2018.
Ian Goodfellow, Jonathon Shlens, Christian Szegedy, “Explaining and Harnessing Adversarial Examples”, ICLR2015
3.7 ＡＩ/機械学習に対する不安感 (4)
パンダ画像にノイズを乗せた画像をテナガザルと判別
停止標識を制限速度と判別１ピクセルの影響で信号を誤判断
Wicker, Matthew, Xiaowei Huang, and Marta Kwiatkowska.
"Feature-guided black-box safety testing of deep neural networks."
Int. Conf. on Tools and Algorithms for the Construction and Analysis of Systems.
Springer, Cham, 2018.

3.8 パンダがテナガザルになると何が困るのか？
17
実用上の困りごと
ビジネス上の困りごと（ベンダの立場）
品質保証上の困りごと（ベンダの立場）
・誤認識がシステム動作に悪影響を与えるかもしれない
・意図的な攻撃に使われるかもしれない
・何ができたら完成品として納品できるのだろう
・これが原因で事故が起きたら、誰がどう責任を取るのだろう
・どうすれば、こんな問題を事前に発見して品質を上げられるのだろう
・お客様には何をしたから大丈夫と言えばよいのだろう

3.9 統計的機械学習の基本的な仕組み
18
学習データ
学習器
モデル
判別器
学習時
利用時
教師あり判別問題の例
計測データ
Ａ群
Ｂ群
Ａ群
Ｂ群
この計測データはＡ群

3.10 機械学習の技術的な利点と課題
19
利点：
汎化
（内挿）
学習器
課題：
ハイパーパラメタ
課題：
学習データの
外側
（外挿）
課題：
学習データの
偏り課題：
コーナー
ケース
課題：
ランダム性
課題：説明性
利点：
境界を定義する
必要がない
課題：過学習

（補足）ディープニューラルネットワーク
20
多層、多次元入力、多次元出力
入力層出力層隠れ層１隠れ層２隠れ層３
犬
猫
鳥
…

3.11 文字認識の例
21
「1」と「7」の境界
入力画像
「1」である確率 0.9 0.8 0.5 0.4 0.2 0.1
「7」である確率 0.1 0.2 0.4 0.5 0.8 0.9
機械学習の凄いところは、例示をもとに、この境界を作ってくれること
この境界が『正しい』ということを、示せますか？
人が設計したアルゴリズムで認識するとき、どうやって品質保証していたのか？
・アルゴリズムの妥当性を評価 ⇒ アルゴリズムが正しく実装されていることを検証
・それでも誤判別が起きたとしたら、「仕様の外」
機械学習でなくても難しいこと：１と７の境界の正解はない
機械学習だから難しいこと：１と７の境界をどこに定めたかわからない

3.12 システム開発の観点から見た機械学習の特性
22
従来型ソフトウェア開発機械学習開発
要件
設計
構築
運用
演繹
段階的詳細化と先行フェーズとの検証データからの帰納的な知見発掘
データ
帰納
検証
検証
検証
学習要求クロス
バリデー
ション
実世界
これまでのシステム開発の知見が通用しない危機感
前提：１００％正解する機械学習はありえない
課題：「正解を定義できない」対象に対する検証・品質評価

3.13 機械学習システムの品質課題
23
何が課題で、何を守るべきなのか整理されないまま、不安が先行（少なくとも半年前は）
機械学習システムの品質課題
システム開発での課題
Dev. issues
社会的課題
Social issues
実は今までも
あった課題
機械学習
特有の課題
ビジネス課題
Biz. issues
経済的課題倫理的課題対顧客の課題
反復プロセス
での品質保証
入力空間が
想定できない状況
での品質保証
仕様に基づく
テストができない
学習データの
品質とは？
機械学習の
経済性
品質の担保を
どう説明するか
問題発生時の
責任範囲
法的課題
社会システム
の課題

目次
24
７．まとめ

4.1 機械学習を含むシステムのライフサイクル
Shipment/Service-in
Assessment Pilot / PoC / Development
訓練データ
セット作成
MLアーキ
テクチャ設計
学習結果
評価学習
機械学習フレームワーク
出荷前
品質評価
顧客合意
Operation
運用時
データ
モデル
モデル
実行時
検証
実行
オンライン
学習
Maintenance
データ
再構築
ビジネス
KPI
システム開発
履歴収集
それぞれで何をしておいたら、高い品質を提供できると言えるだろうか？

4.2 留意点/疑問/課題 (訓練データセット)
訓練データ
セット作成
MLアーキ
テクチャ設計
学習結果
評価学習
出荷前
品質評価
顧客
合意
Operation
運用時
データ
モデル
モデル
実行時
検証
実行
オンライン
学習
Maintenance
データ
再構築
ビジネス
KPI
システム
開発
履歴
収集
Shipment/Service-in
ポイント
・KPIに対する「よいデータ」を顧客とベンダで合意しよう
・合意した「よいデータ」を集めよう
・訓練データに起因する「限界」を理解しよう
疑問/課題
・想定する全運用時をカバーするデータが集められる？
・データを生成することはできる？
・「よいデータ」が事前にわかるの？
・データのクレンジングは誰の仕事？

4.3 留意点/疑問/課題 (MLアーキテクチャ設計)
訓練データ
セット作成
MLアーキ
テクチャ設計
学習結果
評価学習
出荷前
品質評価
顧客
合意
Operation
運用時
データ
モデル
モデル
実行時
検証
実行
オンライン
学習
Maintenance
データ
再構築
ビジネス
KPI
システム
開発
履歴
収集
Shipment/Service-in
ポイント
・適当に選んでも結果は何か出てくるが
求めているものが出てくるとは限らない
疑問/課題
・多様な選択肢をどう選ぶか
（学習アルゴリズム、構造、ハイパーパラメータ…）

4.4 留意点/疑問/課題 (学習)
訓練データ
セット作成
MLアーキ
テクチャ設計
学習結果
評価学習
出荷前
品質評価
顧客
合意
Operation
運用時
データ
モデル
モデル
実行時
検証
実行
オンライン
学習
Maintenance
データ
再構築
ビジネス
KPI
システム
開発
履歴
収集
Shipment/Service-in
ポイント
・アジャイル（反復的）な取組みになる
疑問/課題
・プロセスだけで品質を評価/保証できる？
（機械学習だけでないアジャイル開発的な課題も混在）
・発見的活動になるため、管理が難しい

4.5 留意点/疑問/課題 (学習結果の評価)
訓練データ
セット作成
MLアーキ
テクチャ設計
学習結果
評価学習
出荷前
品質評価
顧客
合意
Operation
運用時
データ
モデル
モデル
実行時
検証
実行
オンライン
学習
Maintenance
データ
再構築
ビジネス
KPI
システム
開発
履歴
収集
Shipment/Service-in
ポイント
・学習結果でプロダクト品質が直接測れる
疑問/課題
・従来のテストに当たるものと思ってよい？
・交差検証や混同行列などの品質保証的な解釈
・機械学習特有のテスト技術とは？
・評価結果がよくないとき、どう修正する？

4.6 留意点/疑問/課題 (システム開発)
訓練データ
セット作成
MLアーキ
テクチャ設計
学習結果
評価学習
出荷前
品質評価
顧客
合意
Operation
運用時
データ
モデル
モデル
実行時
検証
実行
オンライン
学習
Maintenance
データ
再構築
ビジネス
KPI
システム
開発
履歴
収集
Shipment/Service-inポイント
・システムでのフェールセーフや
運用によるカバーなど、
システム全体での品質確保を考えよう
疑問/課題
・機械学習と従来型ソフトの責任分担
・後付けで例外処理ルールが増えていく…

4.7 留意点/疑問/課題 (Assessment)
訓練データ
セット作成
MLアーキ
テクチャ設計
学習結果
評価学習
出荷前
品質評価
顧客
合意
Operation
運用時
データ
モデル
モデル
実行時
検証
実行
オンライン
学習
Maintenance
データ
再構築
ビジネス
KPI
システム
開発
履歴
収集
Shipment/Service-in
ポイント
・顧客/ユーザが得られる『ビジネス的価値』を
KPIとして合意しよう
・精度をKPIとすることは現実的でない
・100%の精度はないことを前提とした
顧客/ユーザとの作業分担をしよう
・サービスの特性を考慮したKPIを決めよう
疑問/課題
・ビジネスKPIを決められる？計測できる？
・何を約束する？何を約束しない？

4.8 留意点/疑問/課題 (Shipment/Service-in)
訓練データ
セット作成
MLアーキ
テクチャ設計
学習結果
評価学習
出荷前
品質評価
顧客
合意
Operation
運用時
データ
モデル
モデル
実行時
検証
実行
オンライン
学習
Maintenance
データ
再構築
ビジネス
KPI
システム
開発
履歴
収集
Shipment/Service-in
ポイント
・ユースケースを想定した評価をしよう
疑問/課題
・第三者検証として何を評価できるか？
・品証独自のテストデータを持つべきか？
・プロセス品証って意味あるの？
ポイント
・運用も含めた品質レベルを合意しよう
（運用形態により守るべきものが異なる）
疑問
・何をエビデンスに品質を説明するのか？
・「肌感覚」と違う結果をどう説明する？

4.9 留意点/疑問/課題 (Operation)
訓練データ
セット作成
MLアーキ
テクチャ設計
学習結果
評価学習
出荷前
品質評価
顧客
合意
Operation
運用時
データ
モデル
モデル
実行時
検証
実行
オンライン
学習
Maintenance
データ
再構築
ビジネス
KPI
システム
開発
履歴
収集
Shipment/Service-in
ポイント
・運用時に得られるデータと実行履歴を記録しておこう
・重大な異常を検出する仕組みと対処法を用意しておこう
（必要に応じて）
疑問/課題
・個々の事象にどこまで責任を持つ？
（全体最適と個別事象の関係）
・勝手に成長するのも保証する必要がある？

4.10 留意点/疑問/課題 (データ再構築)
訓練データ
セット作成
MLアーキ
テクチャ設計
学習結果
評価学習
出荷前
品質評価
顧客
合意
Operation
運用時
データ
モデル
モデル
実行時
検証
実行
オンライン
学習
Maintenance
データ
再構築
ビジネス
KPI
システム
開発
履歴
収集
Shipment/Service-in
ポイント
・データの成長がシステムの成長です
疑問/課題
・学習データを少し変えただけで
今までと全然違う結果になるんですが！？
・運用時に得られたデータで充分とは限らない

目次
35
７．まとめ

5.1 機械学習に対する品質保証の考え方の提案
36
機械学習(ML)の品質保証とは、
• ML搭載したシステム全体のリスクが
• 社会で許容可能なリスク以下であることを示すこと
システム全体のリスク ≦ 社会が許容可能なリスク上限品質保証のゴール：
AI活用により新たに
発生するリスク
従来のシステムのリスク
品質保証のゴールを達成するために、
「(i)AI活用により新たに発生するリスクの低減」するとともに
「(ii)AI活用の追加利益によって拡大可能なリスク基準の策定と社会的な
合意形成」を実現
従来から許容しているリスク
AI活用の追加利益により
新たに許容可能なリスク

5.2 機械学習システム品質保証アプローチ
37
①MLシステム検証技術 ②MLシステム品質アセスメント手法
MLテスト
十分性評価
ML品証
ガイド
確率的
品質評価
③社会的コンセンサスの形成
ML品質
レベル
ML品証標準
ｱｸﾃｨﾋﾞﾃｨ
ML起因リスクの低減
ML活用の追加利益によって拡大可能な
リスク基準の策定と社会的な合意形成
1.1 手順
1.2 評価基準
・・・
≦

5.3 機械学習を含む『システム』
38
シ
ス
テ
ム
入
力
シ
ス
テ
ム
出
力
機械学習を用いて
開発したソフトウェア
（DNN）
従来
ソフトウェア
従来
ソフトウェア
従来
ソフトウェア
従来
ソフトウェア
外部環境
External environment
社会
Social
機械学習適用システム
どこで何を守るべきだろうか？

5.4 リスクの低減策
39
シ
ス
テ
ム
入
力
シ
ス
テ
ム
出
力
機械学習を用いて
開発したソフトウェア
（DNN）
従来
ソフトウェア
従来
ソフトウェア
従来
ソフトウェア
従来
ソフトウェア
外部環境社会
機械学習適用システム
リスクの低減には様々なアプローチが考えられる
機械学習モデル
に対する事前検証
法律標準規格保険インフラ
実行時監視ゲートウェイ
追加学習・更新
安全
機構代替ソフト
安全
運用

5.5 機械学習の結果を評価する基本的な手法
40
ホールドアウト (Holdout) 混同行列 (Confusion Matrix)
学習データテストデータ
クロスバリデーション (Cross Validation)
１２３４５
１２３４５
１２３４５
１２３４５
１２３４５
A Not A
A True
Positive
False
Positive
Not A False
Negative
True
Negative
正解
予想
Accuracy, Precision, Recall, False Positive Rate, f-measure…
学習曲線 (Learning Curve)
標準的な手法を用いることは、最低限の品質保証として必要
http://scikit-learn.org/stable/auto_examples/model_selection/plot_learning_curve.html

5.6 全と個
41
全個
統計的な評価についての
知見は蓄積されてきた
『エッジ・ケース (Edge-case)』
への対応が大きな課題に

5.7 (技術例A)リファレンスモデル照合によるテスト自動化
42
リファレンスモデルと呼ぶ疑似オラクルを使用することでテスト自動化
⇒テスト量を増加
【DNN】
【リファレンスモデルの例】
■道路交通標識認識の例
【入力値】
標識画像
出
力
入
力
【出力値】
識別結果
入
力
従来の画像
処理技術で
標識の形状
を抽出
評価
OK/NG
if (形状=='丸形'){
assert(
識別結果=='止まれ'
or
識別結果=='進入禁止')}
画像引用元：J. Stallkamp, M. Schlipsing, J. Salmen, and C. Igel. The German Traffic Sign Recognition
Benchmark: A multi-class classification competition. In Proceedings of the IEEE International Joint Conference
on Neural Networks, pages 1453-1460. 2011. http://benchmark.ini.rub.de/?section=gtsrb&subsection=dataset
入
力
速度制限
進入禁止
止まれ
照合⇒評価OK/NG
【正解出力値】
人手で作成
⇒テスト量増加
を阻害
出力
疑似オラクル
として使用
Pseudo oracle
速度制限
進入禁止
止まれ
佐藤、來間、中川、小川 “DNN搭載システムの品質課題と既存技術の活用可能性”, MLSE2018

5.8 (技術例B) 制約ソルバによる範囲網羅検証
43
DNNのネットワーク構造を論理式化し，論理式の真偽を制約ソルバで検査
⇒指定した範囲内の全入力値について，要件を満たすことを網羅検証可
n_1 = (w_1 * x_1 + b_1) ∧
n_2 = (w_2 * n_1 + b_2) ∧
…
【入力値の範囲を定義する式】
𝜌,
𝜃,
𝜓,
𝜐 𝑜𝑤𝑛,
𝜐𝑖𝑛𝑡
【出力値】
水平方向の
回避指示
入
力
出
力
【DNN】
【入出力値の要件】
他機が右から接近して
いる場合，左3.0度旋回
(Lower1 < x_1 < Upper1) ∧
(Lower2 < x_1 < Upper2) ∧
…
∧ ∧ (𝜃 > 270) => ((y_1 >
y_2)∨ …)
■航空機制御指令装置の例(Stanford大)
自機
他機
𝜌
論理式化
論理式
化𝜃
𝜓
𝜐 𝑜𝑤𝑛
𝜐𝑖𝑛𝑡
【入力値】
範囲指定
Katz, G., Barrett, C., Dill, D.L., Julian, K., Kochenderfer, M.J.:
Reluplex: An Efficient SMT Solver for Verifying Deep Neural Networks,
Computer Aided Verification 2017, pp.97-117 (2017).
【要件の否定を表す式】【DNNのネットワーク構造を表す式】
論理式が真となる解あり
⇒要件を違反する場合あり

5.9 (技術例C) ニューロンカバレッジ・テスティング
44
DNNを構成するニューロンの活性化状況に基づいてカバレッジ指標を定義
⇒カバレッジを基準にテストの充足性を判定
テスト
入力値1
6
12
のニューロンが活性化
⇒カバレッジ50%
入力
1枚
10枚
100枚
テストケースの追加
テストケースの追加
明神, “AIシステムの品質保証”, JaSST 18

5.10 (技術例D) 機械学習の説明技術
45
機械学習によってなされた判断の理由を説明する解析技術
⇒ 過不足している教師データの判断などができるようになる
下の画像は、Ribeiro, Marco Tulio, Sameer Singh, and Carlos Guestrin. "Why should i trust you?: Explaining the predictions of any classifier.“
Proceedings of the 22nd ACM SIGKDD international conference on knowledge discovery and data mining. ACM, 2016.

5.11 機械学習システムの何を評価するかという議論
46
Allowability:
Behavior or result of ML product cannot be completely decided or predicted
because of ML’s inductive nature. Since zero risk is actually impossible,
arrowable risk must be defined. It may be defined on the basis of technical
Limit and social consensus.
Achievability:
Actual risk must be achieved less than the allowable Risk fundamentally.
Robustness:
Possibility of failure in achievement of expected risk must be reduced as
low as reasonably possible.
Avoidability:
Harm should be avoided according to its criticality. Critical harm must be
avoided even if actual risk fails in achievement less than the allowable risk.
Improvability:
When actual risk is more than allowable risk, risk must be decreased as soon
as possible less than the allowable risk by explaining and understanding of
the cause, by controlling the cause and by unregressing the controlled cause.
Improvability, hence, is composed of Explainability and Understandability,
Controllability and Unregressibility.
Y. Nishi, S. Masuda, H. Ogawa and K. Uetsuki, "A Test Architecture for Machine Learning Product,"
IEEE International Conference on Software Testing, Verification and Validation Workshops (ICSTW), Vasteras, 2018, pp. 273-278.
例：MLプロダクト評価の基本原理(A-ARAI)

5.12 AI搭載システムの検証観点の検討
47
自動車向け機能安全規格ISO26262記載のテスト手法をヒントにして，
AI搭載システムに必要な検証観点，検証アプローチを整理
# 検証観点検証アプローチ
1 結果が同一となる入力のパターンを
満遍なくカバーして検査する
入力と出力の関係を表す性質を仕様から取得し，それらの性質ごとに入
力値を作成
2 入力のパターンの境界面に誤りがな
いか検査する
入力と出力の関係を表す性質を仕様から取得し，それらの性質の境界
面となる入力値を作成
3 実行パターンを満遍なくカバーして
検査する
実行パターンを制御パスと捉え，異なる制御パスを通る入力を与える
（カバレッジテスト）
4 入出力関係の規則性が崩れるなど，
特徴の異なるケースを検査する
特徴の異なる入出力を，仕様やプログラムロジックから逆算
5 異常値が出力されるケースを検査
する
異常出力を得る入力を，仕様やプログラムロジックから逆算
6 ユースケースの観点から想定外の
入力について検査する
ユースケースの観点から想定外となり得る入力を任意に作成
7 ユースケースシナリオに従って検査
する
ユースケースシナリオに従う入力を任意に作成
・・・
明神, “AIシステムの品質保証”, JaSST 18

目次
48
７．まとめ

6.1 社会的コンセンサス形成に向けて
49
小川はロゴデザイナー兼副運営委員長です

6.2 AIプロダクト品質保証(QA4AI)コンソーシアム
50
機械学習をはじめとするAI技術は進化しながら普及の一途を辿り、様々な産業の
競争力の源泉となるだけでなく、既存の産業構造を破壊・変革し、新たな産業を創出
しています。それに伴い、AI技術を用いた製品やサービス（AIプロダクト）が生活や
社会、経済に及ぼす影響も大きくなってきています。
しかし、従来型のハードウェアやソフトウェア、サービスなどに比べ、品質の把握、評価、
説明、管理など品質保証技術の確立が進んでいません。特に、機械学習ではデータの
学習によりふるまいが帰納的に決定されるため、「従来型のソフトウェアに対する品質
保証手段が利用困難」「開発プロセスの管理による品質保証が困難」といった特質があ
ります。
一方で、AI技術の進歩が社会に大きな価値をもたらすことが期待されています。
AI技術が安心して活用され進化できるようにするため、従来の発想にとらわれない、
ブレークスルーが求められています。
このため、AIプロダクトに対する品質保証技術の調査・体系化、適用支援・応用、
研究開発ともに、AIプロダクトの品質に対して、技術的特質を踏まえた適切な
理解を社会が持ちうる啓発活動を行うため、様々な技術と知恵を結集できる
コンソーシアムを設立します。
2018.4.1設立 http://qa4ai.jp/

主な活動内容
1) AI プロダクトの品質保証技術の調査・体系化
2) AI プロダクトの品質保証技術の適用支援・応用例の収集
3) AI プロダクトの品質保証技術の研究開発の促進
4) AI プロダクトの品質保証レベルの策定と、各レベルに必要とされる技術の対応付け
5) AI プロダクトの開発・提供組織による4)の自己宣言の方法の策定
6) 社会への 4)、5)の提示と啓発
月例会での議論の様子
6.3 QA4AIコンソーシアムの現状

6.4 ＱＡ４ＡＩ参加者
52
青木利晃（北陸先端科学技術大学院大学）*
池田裕則（東芝インフラシステムズ株式会社）
石川冬樹（国立情報学研究所）*
伊藤宏幸（LINE株式会社）
猪又憲治（三菱電機株式会社）*
今井健男（ぼのたけ）*
梅津良昭（株式会社リコー）*
遠藤征樹（株式会社日立産業制御ソリューションズ）*
大西秀一（株式会社ヴィッツ）
小川秀人（株式会社日立製作所）*
荻野恒太郎（楽天株式会社）*
長田健一（日立オートモティブシステムズ株式会社）*
柏良輔（横河電機株式会社）*
岸知二（早稲田大学）*
鬼頭正広（アイシン・コムクルーズ株式会社）
窪田邦夫（カルソニックカンセイ株式会社）*
黒田園子（パナソニック株式会社）*
榊原彰（日本マイクロソフト株式会社）*
佐藤孝司（日本電気株式会社）
島田さつき（富士通クォリティラボ株式会社）
鈴木万治（DENSO International America Inc.）*
鈴木里惇（LINE株式会社）
妹尾義樹（国立産業技術総合研究所）
田口研治（株式会社シーエーブイテクノロジーズ）
土屋知典（富士通株式会社）*
徳隆宏（オムロン株式会社）*
徳本晋（株式会社富士通研究所）
西康晴（電気通信大学）*
濱田晃一（株式会社ディー・エヌ・エー）*
誉田直美（日本電気株式会社）*
増田聡（日本アイ・ビー・エム株式会社）*
町田欣史（株式会社エヌ・ティ・ティ・データ）*
松谷峰生（NPO法人ソフトウェアテスト技術振興協会）*
光本直樹（株式会社デンソー）*
鷲崎弘宜（早稲田大学）*
国立研究開発法人宇宙航空研究開発機構研究開発部門
第三研究ユニット*
特定非営利活動法人ソフトウェアテスト技術振興協会*
一般財団法人日本科学技術連盟*
（以上五十音順・「*」は設立発起人・団体を示します）

6.5 QA4AIコンソーシアムの現況
53
自動運転
（画像・映像系）
産業プロセスデータ
（センサ・数値系）
スマートスピーカー
（音声・自然言語系）
音声・画像生成
（クリエイティブ・ユーザ感性系）
画像引用元：https://dena.com/jp/article/003622
４分野で具体的なプロダクト例を設定し、品質保証の課題と対策を検討

6.6 日本政府のAI戦略強化
54
ＡＩ戦略の抜本的強化に向けた政府の検討状況,
人間中心のＡＩ社会原則検討会議資料
https://www8.cao.go.jp/cstp/tyousakai/humanai/6kai/siryo1-1.pdf

6.7 内閣府『人間中心のAI社会原則検討会議』
日経新聞 11/27
(1)AIは人間の基本的人権を侵さない
(2)AI教育の充実
(3)個人情報の慎重な管理
(4)AIのセキュリティー確保
(5)公正な競争環境の維持
(6)企業に決定過程の説明責任
(7)国境を越えたデータ利用の環境整備

6.8 国内外でのAIに関する議論の概況
56
# 分類コンセンサス形成のための議論・会議体
1 倫理
2 法律
3 技術
4 契約
IEEE
Ethically
Aligned
Design
WEF
C4IR
経産省・産総研国プロ
「機械学習AIの品質保
証に関する研究開発」
経済産業省
「AI・データの利用に関する契約ガイドライン」
AIネットワーク
社会推進会議
「AI開発ガイドライン」
MLSE WAISE等の学術会義
ISO/IEC
JTC1/
SC42
米科学
技術政
策局
「AIの未
来に備
えて」
QA4AI
ア
シ
ロ
マ
23
の
原
則
国内
海外
AI品質マネジメント
検討委員会
内閣府
「人間中心
のAI社会
原則検討
会議」
EU「Develop draft AI
ethics guidelines」
OECD
「AIGO」
人工知能の未来のための
シャルルボワ共通ビジョン
UNESCO
「Roundtable
on AI」
IEC
SMB
163/8
欧米では倫理面の議論が先行、技術面の議論が進展中
IEEE
P7000
シリーズ
ITU-T

6.9 ISO/IEC JTC1/SC42 Artificial intelligence
57
WG1 Foundational standards
WG2 Big Data
WG3 Trustworthiness
WG4 Use cases and applications
SG1 Computational approaches and characteristics of
artificial intelligence systems
ISO/IEC JTC1/SC42
- Artificial Intelligence Concepts and Terminology ISO/IEC
AWI 22989
- Framework for Artificial Intelligence Systems Using
Machine Learning ISO/IEC AWI 23053
- Approaches to establish trust in AI systems through
transparency, verifiability, explainability, controllability, etc.
- Engineering pitfalls and assess typical associated threats and
risks to AI systems with their mitigation techniques and
methods.
- Approaches to achieve AI systems’ robustness, resiliency,
reliability, accuracy, safety, security, privacy, etc.
- Types of sources of bias in AI systems with a goal of
minimization, including but not limited to statistical bias in AI
systems and AI aided decision making.
情報処理学会
情報規格調査会
SC42専門委員会
杉村領一氏
(産業技術総合研究所)
SC 42/WG 1 小委員会
基礎標準
杉村領一氏
(産業技術総合研究所)
ビッグデータ
榎本義彦
(日本アイ・ビー・エム(株))
信頼性
江川尚志
(日本電気(株))
ユースケースとアプリケー
ション
丸山文宏
((株)富士通研究所)

6.10 IEEE EAD と IEEE P7000シリーズ
58
Ethically Aligned Design
(倫理的に調和したデザイン)
1. 一般原則
2. 自律知能システムへの価値観の組み込み
3. 倫理的研究と設計を導く方法論
4. 汎用人工知能（AGI）と人工超知能（ASI）の
安全性と恩恵
5. 個人情報と個別アクセス制御
6. 自律型兵器システムの再構築
7. 経済的／人道的問題
8. 法律
9. アフェクティブコンピューティング
10. 政策
11. ICT における伝統的倫理観
12. 複合現実
13. ウェルビーング
IEEE P7000シリーズ
システム設計時に倫理的問題に取り組むモデル
プロセス（P7000）
自律システムの透明性（P7001）
データプライバシーの処理（P7002）
アルゴリズム上のバイアスに関する考察（P7003）
子供と学生のデータガバナンスに関する標準
（P7004）
透明性のある雇用者のデータガバナンスに関する
標準（P7005）
パーソナルデータ人工知能エージェントに関する
標準（P7006）
ロボット及び自動システムを倫理的に駆動するた
めのオントロジー標準（P7007）
ロボットや知的自動システムを倫理的に「ナッジ（
そっと促す）」して駆動するための標準（P7008）
自律及び半自律システムのフェイルセーフ設計に
関する標準（P7009）
倫理的な人工知能と自律システムのウェルビーン
グ測定基準に関する標準（P7010）

6.11 産総研を中心とした品質標準化に向けた動き
59https://staff.aist.go.jp/y.oiwa/aiqa/index-ja.html
将来のJIS/ISO化を見据えた産業界と連携した研究開発の推進

目次
60
７．まとめ

7.1 まとめ
61
・人の支援
・人の代替
・人を超越
・閉じた環境
・開いた環境
・プロダクトQA
・プロセスQA
・機械学習の精度
・システムの品質
・サービスの品質
機械学習
特に『QAと呼ばれる組織』

7.2 まとめ
62
機械学習システムの
検証技術、品質評価技術
の研究開発
機械学習を含むシステムの
品質保証に関する
産学を超えた議論
機械学習システム
の開発への技術導入
機械学習システムが
社会に受け入れられて
安全・安心・快適な世界を
創造するために

機械学習システムの品質保証に向けた課題とコンソーシアム活動

機械学習システムの品質保証に向けた課題とコンソーシアム活動

More Related Content

What's hot

Similar to 機械学習システムの品質保証に向けた課題とコンソーシアム活動

機械学習システムの品質保証に向けた課題とコンソーシアム活動