AIのバイアス問題、求められる「公平」とは何か?

コメントする

09/22/2018 by kaztaira

性別や人種によって、AI(人工知能)から不当な判定を受けてしまう――。

AIに潜むそんな「バイアス(偏見・差別)」を可視化するオープンソースのツールが、グーグルIBMから相次いで発表された。

AIはすでに採用やローン審査など、身近な場面で導入され始めている。

だが一方で、AIに潜むバイアスの問題は、様々な場面で批判の的となってきた。

※参照:AIと「バイアス」:顔認識に高まる批判(09/01/2018)

これらの可視化ツールは、そんなバイアスの排除につながるのだろうか。

そして、そもそもAIにおける「公平」とは何か、という問題の難しさも改めて浮き彫りになっている。

●モデルを可視化する

グーグルが11日に発表したのは、機械学習(ML)のバイアスを可視化するツール「ワット-イフ」だ。

「ワットイフ」は、グーグルの機械学習ライブラリ「テンソルフロー」の可視化ツール「テンソルボード」のアプリケーションとして提供されており、「ユーザーはコードを書く必要なしに機械学習のモデルを分析できる」とうたう。

グーグルは「ワット-イフ」のデモを用意しており、その雰囲気をつかむことができる。

デモの一つ「収入予測」モデルでは、対象が年収5万ドル超か、それ以下かを判定。判定結果は「赤」(5万ドル超)と「青」(5万ドル以下)で色分け表示している。

「収入予測」の判定結果は、性別や年齢、人種など様々な属性で分類することができ、それがビジュアルで表示される。

バイアスを可視化するという点では、それぞれの属性ごとの判定を比較していくことから、その傾向をまずつかむことができそうだ。

また、さらに細かく見ていく上で、参考になりそうなのが判定の境界線上の類似データ同士の比較だ。

特定のデータと、最もタイプが近くて判定結果が異なったデータを指定、比較することができる。このため、属性の中でどの項目が判定の採否に影響していたか、それがバイアスにつながっていないかを検討する手がかりにもなる。

下記の写真では、男性、既婚、職業(工員)、年齢(35歳と36歳)などほぼ同じ属性ながら、「年収5万ドル以下」「年収5万ドル超」と予測が分かれている事例。

whatif_3キャプチャ

判定に影響したと見られる項目は人種、学歴など(「5万ドル以下」は黒人、中学卒業、州政府職員、「5万ドル超」は白人、高校卒業、連邦政府職員)だ。ただこの事例はいずれも、判定の結果は正解(真陰性と真陽性)だった。

このほかにも、「笑顔検知」のデモがある。

これは著名人の顔写真のデータを使っており、やはり性別・年代といった属性のほか、ほお骨・口元といった項目でも分類できる。

celeba

●5つの「公平」

グーグルのプロジェクトの「レジデンス・ライター」の肩書で、『インターネットはいかに知の秩序を変えるか?』などの著書もあるハーバード大学バークマン・クライン・センター上席研究員、デビッド・ワインバーガーさんが、「ワット-イフ」のサイトに論考を寄せている。

ワイバーガーさんが取り上げているのは、「公平」の定義の難しさだ。

「ワット-イフ」を使うことで、AIシステムによって提起される最も困難で、複雑な、そして最も人間的な疑問が露呈する:ユーザーは何をもって公平と判断したいのか?ということだ。

「公平」には、様々なタイプがある、とワインバーガーさん。

2つの問題がある。第1に、どのタイプの公平性を適用すればよいのか、という文化的なコンセンサスが得られていないということ。第2に、それぞれのタイプの公平性には、技術的、非技術的な判断とトレードオフが求められ、そのいくつかは痛みを伴う可能性もある。

そして、ワインバーガーさんは、5つの「公平」を取り上げている。

「Group unaware(集団非識別)」「Group thresholds(集団閾値)」「Demographic parity(統計均衡)」「 Equal opportunity(機会均等)」「Equal accuracy(精度均等)」の5つだ。

「集団非識別」は、性別や人種など、バイアスにつながるような集団の区分データを、そもそも判定項目から除外するもの。ローンの場合であれば、返済可能性60%以上、などのデータのみに着目して判定を行う。

ただ、この場合はアルゴリズムの元になる学習データに、歴史的に差別を受けてきた集団へのバイアスが反映されている可能性があり、ローンを認められるのが、例えば男性や白人のみになってしまうかもしれない。

このため、集団ごとにこのバイアスを加味した判定レベルを設定することで「公平」を担保するのが「集団閾値」。例えばローンについて、男性なら返済可能性60%以上だが、女性は返済可能性30%以上、などと設定する。

「統計均衡」は、例えばローン申請者の30%が女性であれば、審査の判定でもその割合を30%に保つ。

だがこのようなケースでは、男性と女性の審査基準にかなりの開きが出てしまう可能性がある。そこで「機会均等」では、男女とも、返済可能性の高い人々に対してのローン審査通過の割合を「公平」にそろえる。

「精度均等」はこれをさらに進めて、ローン審査通過(真陽性)とローン拒否(真陰性)について、いずれも正しく判定する割合を男女でそろえる、というものだ。

「ワット-イフ」では、「性別」「人種」などのデータ項目ごとに、これら5つの「公平」のモジュールを用意し、判定結果の変化を見ながらバイアスを探る機能がある。

ただ、ワインバーガーさんは、こう指摘する

「ワット-イフ」はこれらのオプションをユーザーに提供するが、公平性には、このツールで扱う以外の社会的文脈などの外部要因が影響している。

その場に最も適した公平性とは、どれか? 一つだけの正解はない。だが、その疑問に答えるべきなのは、コンピューターではなく、人間だという点では、おそらく異論はないだろう。

●バイアス修正の4つのオプション

IBMも19日に、やはりAIのバイアスを可視化し、その修正オプションを提案するオープンソースツール「AIフェアネス360(AIF360)」を発表している。

IBMクラウド上のサービスとしても提供され、IBMの「ワトソン」に加えて、グーグルの「テンソルフロー」、オラクルの「スパークML」、アマゾンの「AWSセージメーカー」、マイクロソフトの「アジュールML」といった大手各社のAIサービスに対応している。

「AIフェアネス360」も、デモ版を用意している。

その中には、AIのバイアスが注目されるきっかけともなった、再犯予測システム「コンパス」のシミュレーションも含まれている。

※参照:見えないアルゴリズム:「再犯予測プログラム」が判決を左右する(08/06/2016)

再犯予測システム「コンパス」の問題は、2016年5月に調査報道サイト「プロパブリカ」が独自の検証によって明らかにした。

米ウィスコンシン州などでは、刑事裁判の判決の参考データとして、被告の再犯可能性を予測する「コンパス」が使われている。

被告に137問の質問に答えさせ、過去の犯罪データとの照合により、再び犯罪を犯す危険性を10段階の点数として割り出すシステムだ。

だがプロパブリカが独自に検証したところ、機械学習によると見られるこの「コンパス」が、黒人に対し、高い再犯予測をすることが明らかになった。

具体的には、再犯率が高いと予測されながら、実際には再犯のなかった(偽陽性)の割合は白人が23.5%に対して黒人は44.9%。逆に再犯率が低いと予測されながら、実際には再犯のあった(偽陰性)の割合は白人47.7%に対して黒人は28.0%だった。

propublica

人種や性別による差別があった環境のデータをAIが学習することで、その価値観を埋め込まれたモデルがつくり出され、それがAIによる予測や判定に反映し、「差別の再生産」をする。「コンパス」はまさにそんな事例として広く知られている。

「AIフェアネス360」では、この「プロパブリカ」の検証データを元に、そのバイアスを可視化している。

バイアスを測る指標は「Statistical Parity Difference(統計均衡差)」「Equal Opportunity Difference(機会均等差)」「Average Odds Difference(平均オッズ差)」「Disparate Impact(差別効果)」「Theil Index(タイル尺度)」の5つ。

ここでも「公平」をめぐって、視点の違う複数の物差しを用意している。

「コンパス」は、人種(白人と非白人)で比較したバイアス判定では、5つの指標のうち、4つで「バイアスあり」と判定されている。

IBM_compas_3

そして、「バイアス緩和アルゴリズム」として「データの見直し」「分類の見直し」「判定の見直し」の3タイプ、4つのオプションが用意されている。

それぞれのアルゴリズムを試してみると、「データの見直し」「判定の見直し」では5つの指標すべてでバイアスが緩和された。だが「分類の見直し」では、なお2つの指標で「バイアスあり」の判定が残るという結果だった。

●コンプライアンス上の要請

これらAIのバイアスに関する可視化ツールが相次いで発表される背景には、コンプライアンス上の要請もある。

5月に施行されたEUの新たなプライバシー保護法制「一般データ保護規則(GDPR)」では、AIによる判断など「プロファイリングを含む個人に対する自動化された意思決定」(22条)について、こう規定している。

データ主体は、当該データ主体に関する法的効果を発生させる、又は、当該データ主体に対して同様の重大な影響を及ぼすプロファイリングを含むもっぱら自動化された取扱いに基づいた決定の対象とされない権利を有する。

この場合には「データ保護影響評価」(35条)が必要とされ、「自動化された意思決定」のプロセスやロジックの開示といった説明なども想定される。

つまりGDPRによって、AIのアルゴリズム可視化が求められており、「ブラックボックス」では済まなくなってきているのだ。

グーグルやIBMのバイアス可視化ツールは、このような動きへの技術的な対応ということになる。

●バイアスの対処の難しさ

「プロパブリカ」の「再犯予測プログラム」の検証以前に、AIのバイアスについて大きな注目を集めたのは、ほかならぬグーグルだ。

それは、AIによる画像認識だった。

2015年6月、グーグルの写真保存サービス「グーグルフォト」が、AIによる自動ラベル付け機能で、黒人の写真に「ゴリラ」と表記した騒動だ。

騒動から2年以上が過ぎた今年1月、ワイアードは、4万枚の動物の写真を使って、「グーグルフォト」の画像認識の進展具合を検証する実験を行っている。

すると、「ゴリラ」「チンパンジー」「サル」といった単語では「検索結果なし」の回答しかかえって来なかった、という。その結果をグーグルに問い合わせると、15年の騒動以降、検索語、タグから「ゴリラ」を外し、「チンパンジー」「サル」もブロックしているとの回答だった、という。

つまり、根本的な改善は行われていなかった、ということになる。

ワイアードへのグーグルの回答は、画像分類の技術は「完璧からは程遠い」というものだった、という。

この事例は、画像認識の精度の問題が、人種差別の文脈と結びついたものだった。

AIの用途が幅広いのと同様、バイアスの表面化の仕方も様々だ。

そのたびごとに、「公平」とは何か、という疑問は繰り返し浮上してくるのかもしれない。

——–
■新刊『信じてはいけない 民主主義を壊すフェイクニュースの正体』(朝日新書)

「信じてはいけない」書影帯あり

■デジタルメディア・リテラシーをまとめたダン・ギルモア著の『あなたがメディア ソーシャル新時代の情報術』(拙訳)全文公開中

※このブログは「ハフィントン・ポスト」にも転載されています。

広告

コメントを残す

以下に詳細を記入するか、アイコンをクリックしてログインしてください。

WordPress.com ロゴ

WordPress.com アカウントを使ってコメントしています。 ログアウト /  変更 )

Google+ フォト

Google+ アカウントを使ってコメントしています。 ログアウト /  変更 )

Twitter 画像

Twitter アカウントを使ってコメントしています。 ログアウト /  変更 )

Facebook の写真

Facebook アカウントを使ってコメントしています。 ログアウト /  変更 )

%s と連携中

アーカイブ

ブログ統計情報

  • 737,348 ヒット
%d人のブロガーが「いいね」をつけました。