「AIリスク社会」を生き抜くリテラシーとは?―『悪のAI論』座談会採録

コメントする

03/14/2019 by kaztaira

AI(人工知能)は、様々なメリットに大きな期待がかかる一方で、深刻な問題点も抱えている。AIが社会の隅々にまで広がっていくAI社会は、同時に「AIリスク社会」でもある。「AIリスク」とは何か、それがなぜ起きて、どのように対処していけばいいのか。

補正)010702

悪のAI論 あなたはここまで支配されている』(2/13刊)の発売に合わせて、著者の平和博(朝日新聞IT専門記者)と、栗原聡さん(慶應義塾大学理工学部教授)、津田大介さん(ジャーナリスト/メディア・アクティビスト、早稲田大学文学学術院教授、『情報戦争を生き抜く 武器としてのメディアリテラシー』)、山本龍彦さん(慶應義塾大学法務研究科教授、『おそろしいビッグデータ 超類型化AI社会のリスク』)の4人が、事件、技術、ネット、憲法などのキーワードを手がかりに議論した。(於:朝日新聞メディアラボ渋谷分室、2019年2月26日)

●「AIのリスク」とは何か

平:まずは「AIのリスクとは何か」というテーマで簡単にお話させていただきます。

2018年は、AIを巡る事件が多かった年です。米大統領選に関するフェイスブックとケンブリッジ・アナリティカの問題や、自動運転車の死亡事故グーグルがAI技術を国防総省に提供していたことへの社員の大規模な反発など、様々な事件や問題が頻発しました。

それ以前からAIの技術はありましたが、広く普及する中で、社会との摩擦が起きてきたタイミングだったのではないかと思っています。

AIのリスクというと、まず思い浮かぶのがSF映画「ターミネーター」。「ターミネーター」が人類を滅ぼす、というリスクです。ただ、このリスクは今のところ、そんなにすぐにはやってこないだろうと思えます。

補正)53636722_10157144167974661_1672233396299890688_n

撮影:服部桂氏

ここでは、AIをめぐって現実に起きているリスクを、五つのタイプに整理してみました。「監視のリスク」「バイアスのリスク」「攻撃と暴走のリスク」「フェイクのリスク」「操作のリスク」です。

まず「監視のリスク」。映画「ターミネーター」では、人類を殲滅を狙い、戦闘用アンドロイドを操る親玉のAIが描かれていました。それが「スカイネット」というAIです。

この名前は、元米中央情報局(CIA)職員のエドワード・スノーデン氏が2013年に暴露した米国家安全保障局(NSA)の秘密文書の中に、実在のAIシステムとして出てきます。

NSAの「スカイネット」は、携帯電話のメタデータ(通信・通話記録)を解析して、その人物の行動パターンなどを特定し、テロリストの連絡係を割り出す、というシステムです。

「スカイネット」の分析で、テロリストの連絡係である可能性(スコア)が最も高かったとされているのが、カタールのメディア「アルジャジーラ」の当時のパキスタン・イスラマバード支局長のアフマド・ザイダン氏でした。前線のジャーナリストが、NSAのAIによってテロリストと認定されていたのです。

実在の「スカイネット」はもう一つあります。

香港のスター、ジャッキー・チュン氏が中国各地で開催したコンサートの会場で、逃亡犯が次々に逮捕されていった、というニュースが昨年春ごろから相次ぎました。チュン氏のコンサート会場で使われていたのがAIによる顔認識システム。これによってコンサートの入場者の顔を逃亡犯のデータベースと照合し、瞬時に特定していたわけです。

このシステムの名前が「天網」、英語では「スカイネット」と呼ばれています。

次に「バイアス(差別・偏見)のリスク」です。

AIを使った採用システムの開発を進めていたアマゾンが、AIのアルゴリズムに修正しきれない「女性差別」があったために、プロジェクトを打ち切った。ロイターが昨年10月にそう報じています。AIシステムには差別や偏見のバイアスがあるのではないか――そんなリスクを伺わせるニュースです。

マサチューセッツ工科大学(MIT)メディアラボの研究者、ジョイ・ブオラムウィニ氏らが調査したところでは、IT各社の顔認識システムは、男性の誤認率はコンマ以下なのに、女性の誤認率は最大で2割近かった、という結果が出ています。特に黒人女性の誤認識が顕著で、プロテニスのセリーナ・ウィリアムズ氏や有名な司会者のオプラ・ウィンフリー氏、元ファーストレディのミシェル・オバマ氏らが、いずれも「男性」と判定されたといいます。

トム・クルーズ主演のSF映画「マイノリティ・リポート」では、殺人事件の発生を予測する未来が描かれていました。これに似たようなシステムはすでに存在します。米国のいくつかの州では裁判の被告の再犯可能性を判定する「COMPAS」と呼ばれるAIが運用されています。このシステムを米国の調査報道メディア「プロパブリカ」が独自に検証したところ、AIの判定には人種によって大きな偏りがあることが明らかになりました。

フロリダ州の事例では、「COMPAS」によって再犯率が高いとされながら、実際には罪を犯さなかった被告の割合は黒人が白人の2倍近く、逆に再犯率が低いとされながら実際には罪を犯した被告の割合は白人が黒人の2倍近い高さだった、といいます。

もう一つ犯罪がらみでは、カリフォルニア大学ロサンゼルス校(UCLA)とロサンゼルス市警察(LAPD)が共同開発した「プレッドポル」と呼ばれる犯罪予測システムがあります。過去のデータから犯罪発生の地域、時間などを予測。警察官を重点的に警備にあたらせる、という仕組みです。ただ、重点警備によって検挙率が上がり、一層の重点警備が行われる、というスパイラルに陥り、結果的に特定地域の住民たちが過剰な監視と差別の対象になってしまう、との指摘が出ています。

そして「攻撃と暴走のリスク」。「ターミネーター」はやってきてはいませんが、無人で動く自律型の”ロボット兵器”は、すでに様々なものが開発されています。ロシアは無人戦闘車両「ウラン9」を配備。イスラエル製の「ハーピー」は、レーダー施設を探知するとそこに向けて自爆する無人攻撃機です。米国は無人軍用艦「シーハンター」を開発しています。無人兵器は暴走の危険と隣り合わせです。

これら無人兵器の広がりは軍関係だけでありません。2015年には米国の大学生が、拳銃を装着したドローンが発砲する動画をユーチューブで公開。大きな騒ぎになっています。また、昨年1月にはシリアのロシア軍基地を、小型ドローンの群れが攻撃した、とロシア国防省が写真つきで公表しています。

「暴走」というリスクは、兵器ばかりでなく、株取引にもあります。2010年5月6日に米株式市場で起きた未曽有の大暴落「フラッシュ・クラッシュ」です。引き金となったのは英国のデイトレーダーによる不正取引ですが、アルゴリズム同士が行う高速の自動取引が混乱を急速に増幅。30分ほどの間にダウ平均株価が1000ドル以上下落し、1兆ドル(約110兆円)以上の市場資産が失われました。

同様の「フラッシュ・クラッシュ」は、その後も繰り返し発生しています。

さらに「フェイクのリスク」。2017年の秋ごろから、AIを使ってポルノ動画の顔を有名女優などに差し替える「ディープフェイクス」がネットで拡散し始めます。インドでは、政権批判を続ける女性ジャーナリストの顔を使った「ディープフェイクス」動画が、政権支持派とみられる勢力による、攻撃のツールとして拡散された事件も起きました。

また今年に入ってからは、イーロン・マスク氏らが設立にかかわったNPO「オープンAI」が、高い精度の文章生成を行うAI「GPT-2」を発表しましたが、フェイクニュースなどへの悪用が懸念されるとして、その公開を限定したことが波紋を呼びました。

五つ目が「操作のリスク」。フェイスブックの「いいね」の分析によって、個人の属性が高い確率で推定できる、という研究結果が2013年、ケンブリッジ大学のマイケル・コシンスキー氏らによって明らかにされています。

昨年明らかになったケンブッジ・アナリティカの問題では、AIを使った同様の手法で大量のフェイスブックのユーザーデータを解析し、それが米大統領選の選挙運動に使われた、と関係者が告発。フェイスブックCEOのマーク・ザッカーバーグ氏が米連邦議会で100人の議員から計10時間の証人喚問を受け、フェイスブックの株価急落をまねくなどの、スキャンダルに発展しました。

最後に「AIと私たち」について。カナダの英文学者、マーシャル・マクルーハンは、その著書『メディアはマッサージである』でこんな指摘をしています。「われわれはバックミラーごしに現代を見ている。われわれは未来にむかって、後ろ向きに行進している」。そのページには、自動車のバックミラーに馬車の絵が描かれたコラージュが掲載されています。

AIにからむ事件やリスクは多種多様。ただ特にバイアスの問題などは、AIが過去のデータを学習して、判定や予測をすることに起因しています。その点で、マクルーハンの「バックミラー越しの視線」というコンセプトは、非常に示唆に富んでいるのではないかと思っています。

●AIが人間の仮面をはがす

平:ここまでは「事件」という、社会の表面に見えてきているAIのリスクについてお話しました。これらの「事件」が、今の社会の枠組み、法律の枠組み、人権、プライバシーの観点からどう見えてくるのか、何が問題なのかについて、山本先生にお話いただければと思います。

山本龍彦氏:今のお話、大変示唆的だったと思いますが、これらの例を見ていくと、結局、悪いのは人間なんじゃないか。使い方が悪いんじゃないか、と思うところもあります。

大サイズ補正)P1310856

撮影:服部桂氏

AIそれ自体が悪なのか、それともAIは単なる技術で、中立的なものなのか。つまり、人間によるAIの「使い方」が「悪」なのか。この点は、人工知能の研究者の方と、我々人文・社会科学系の研究者とで捉え方に温度差があるように感じます。まずはこの摺り合わせをしていかなくてはいけないなと、強く思っています。

また、人工知能の研究者の方々からは、「AIの定義がいいかげんだ」とか、「用語自体が政治化しており、AIに関する議論が歪んでしまっている」といったお叱りを受けます。そうすると、議論がそこで止まってしまって、なかなか実体論に進まないというもどかしさを感じています。まずはここから解きほぐしていかないと。

ちなみに、「憲法」という言葉も政治化しているところがあり、「私、憲法をやっています」と一言いうと、「悪い奴だ」というレッテル貼りをされてしまう(笑)。人工知能についてもそういう傾向があると思うんですね。何かいかがわしいことをやっている人だ、と(笑)。

ただ、憲法学者がそうであるように、人工知能研究者も、それでも人工知能について語っていかなきゃいけないと思うんですね。「人工知能」という言葉は、確かに「政治化」されたりしているけれども、それでも我々は語っていかなければいけない。なぜなら、それが憲法と同じで、「使い方」次第で我々の社会に大きな影響を与えるからです。だとすると、なんといわれようと、語るべき問題なのだと思います。一緒に嫌われながらも頑張っていきましょう、と。

ただ、それでも、無用な議論はできるだけ避けるべきで、やはり本質的な実体論を行う必要がある。そのためには、「使い方」以前の、AIの内在的性格、要するに本質とは何だろう、というところから考えなきゃいけない。本質的な「リスク」があるのか。

もちろん、単に技術であり、そんなものは存在しない、という議論はあり得ると思います。ただ、私は本質に由来するようなリスクはあると思います。例えば、「モアデータ」。AIは、本質的・本能的に、より多くのデータを欲しがる。あとは、確率による予測、確率による予測にすぎない、ということです。

モアデータは、論理必然的に「監視」を引き起こす。AIの予測精度を上げるためには、たくさんのデータを取ることになる。そうすると、AI社会は、本質的にプライバシーとの摩擦、緊張関係を伴ってくる。

修正)004215

AIの予測精度を上げようとすれば、プライバシーが犠牲になるし、プライバシーを優先すれば予測精度が犠牲になる。IoTでもAIスピーカーでも、家の中に入れておいて、そこから生活に関するあらゆる情報を収集しておけば、その人のことがだいぶよくわかる。予測精度は上がるわけですね。でも、それはプライバシーがない世界で、やはりまずいでしょう。すると、どこかで予測精度について妥協しなきゃいけない部分が出てくる。プライバシーとAIの予測精度・正確性との間のどこに均衡点を打つかが社会的に非常に重要になると思います。

憲法学の観点から見て重要だと思うのは、「近代」というのは虚構で成り立っているという点です。近代は、人間が本来は動物的な存在であることをプライバシーとして隠してきた。それにより、人間を理性的・人格的な存在として見立ててきたわけですね。つまり、プライバシーにより、「人間は人格的存在である」という虚構を何とか維持してきた。この虚構のうえに、意思主義や責任主義といった近代法のシステムを組み立ててきたのですね。

予測精度を上げるために、家の中にまでデバイスを引き込み、センシング(計測)などで「生き物」としての、「動物」としての人間を分析していくと、「人間は人格的・理性的存在である」という虚構が音を立てて崩れる可能性がある。それは近代法システムの前提を崩すことになるでしょうね。我々はそれに耐えられるのか。近代法システムに代替するネクストの社会的統治システムを用意できるのか。

よく知られた話ですが、人間を指す「パーソン」という言葉、あれは「ペルソナ」という言葉から来ているのですね。そしてこの「ペルソナ」は人格を意味しますが、これはもともと古代ローマの古典劇で役者がつけた「仮面」のことを意味しています。要するに、動物と異なる人間は、社会的に「仮面」をつけて生活しているということです。それによって社会における自己イメージをコントロールしているわけです。

しかしAIによってセンシングされて、動物的で生理的な状況をモニタリングされたり、プロファイリングされたりすることで、この仮面が剥ぎ取られてしまう。それはとりもなおさず、人間を動物として管理することを意味します。はたして我々はそれに耐えられるのか、耐えるべきなのかを真剣に議論しなければいけない。

もう一つは、セグメントによる評価、というものを考えなければいけない。AIは、共通の属性をもった集団、つまりセグメント単位で予測する。どれだけセグメントが細かくなっても、セグメント単位での評価になります。セグメントの一般的な確率に過ぎないわけです。ただ、こうしたセグメントベースの評価が一般的に広がっていくと、その人個人と、セグメントによって評価されるデータ・ダブル(デジタル的な分身)とのギャップが捨象される可能性が高くなる。私は私であり、セグメントには還元できないはずなんだけれども、このセグメントの評価、つまりデータ・ダブルがひとり歩きしてしまう。

これはある意味で、前近代的な香りもする。前近代は、集団ベースで個人を考えていたからです。その人の属する身分によって、事前に生き方を規定されていた。そういうものが前近代、プレモダンだとすると、近代は、ちゃんと「個人」を見てあげましょうという時代だ、といえます。個人そのものを時間とコストをかけて見てあげる。これが近代憲法が組み込んだ「個人の尊重」という概念です。この点で、セグメントという集団をみるAIは、「個人の尊重」とぶつかってこないか、注意が必要だと思います。

最後にバイアスの話です。よくいわれるのは、人間の判断の方がバイアスに満ちていて、AIの判断の方がはるかにフェアだということです。私も就活をひかえたゼミ生に、AIに面接されたいか、人間に面接されたいか聞いたところ、半分ぐらいはAIに面接されたいと答えるわけですね。確かにバイアスというのはこれまでも存在してきた問題で、統計的な差別や確率的な差別はあったわけです。だから、AIの導入によってバイアス問題が新たに出現するわけではありません。

問題の一つは、人間が「AIにはバイアスがない」と信じてしまうということです。どういう風にアルゴリズムを組むのか、各データにどのような重みづけを与えるかは、そもそも人為的だし政治的です。でも、そういった人為性や政治性が見えなくなる、不可視化してしまう。ここにAIを実装する際の一つの問題があり得るのではないかと思います。私は、AIの判断プロセスをある程度可視化した上で、民主化することが重要ではないかと考えています。

アメリカのシカゴやフィラデルフィアで使っている犯罪予測システム「ハンチラボ」では、人種の要素を抑制(ディエンフェサイズ)するようなプログラムを組んでいる。ペンシルベニアのある郡が使っている児童虐待予測のプログラムでも、人種の要素を抑制するようにしている。ここでは、予測精度は犠牲になっても、人種的な平等、憲法的フェアネスが重要だと考えています。これは極めて人為的でポリティカルな判断なわけです。こういう政治性を表に出した上で、じゃあ、我々はどこにそのバランスを打つのかを議論しましょう、ということが重要なんだと思います。

例えば人種の要素について、アファーマティブ・アクション(被差別集団に対する積極的差別是正措置や優遇措置)のような、黒人を優遇するアルゴリズムを組むと、今度は白人にとって不利益になるわけです。アルゴリズムに政治性を働かせ、アファーマティブ・アクションを行うと、今度はマジョリティが差別を受けることになる。アルゴリズムによる逆差別と呼ばれる問題です。そうすると、ウェイトづけのさじ加減は本当に難しい。

その意味でも、やはり、人工知能の研究者の方と人文社会系の研究者との対話が必要なんだろうと。もちろん、そういう議論に対するパブリックの参加も重要になると思います。そのように民主的に議論することで、バイアス問題を民主的に制御でき、「悪」にならないAIが実現可能になると思います。

平:ものすごくハイブローなお話だったので、いくつか質問をさせてください。山本先生が提起されている「バーチャルスラム」という問題があります。これはAIのリスクを非常にイメージしやすいコンセプトだと思いますので、この「バーチャルスラム」について少しお話いただけますか。

山本:これは、中国の「セサミクレジット(芝麻信用)」などが行っている、AIを使った社会的信用力のスコアリング・システムをイメージしています。そういった信用機関にいったん低いスコアがつけられてしまうと、社会的下層に固定化され、そこから這い上がれなくなるのではないか、というのが「バーチャルスラム」という言葉の含意です。

平:なぜ這い上がれなくなってしまうんでしょう?

山本:一つは人間側の問題なのかもしれません。セグメントによる確率的予測であることを忘れてAIを過度に信じてしまい、スコアが低い人は、徹底的にダメな人なんだ、とレッテル貼りをしてしまう。スコアは100%その人を表すわけではないんですね。所詮セグメントベースの確率的な評価だし、どういうデータを使うか、あるいは使わないかによって変わってくる。でも、人間の認知バイアスがあって、スコアをその人そのものとオーバーラップさせてしまう。それによって、例えば採用の場面で、低い信用スコアの人はダメだ、とはねてしまう。

もう一つは、人工知能の内在的な本質に関わることかもしれません。つまり、なぜそういう低いスコアになったかというAIの判断過程がブラックボックス化してしまうという問題です。ブラックボックス化も二つあります。一つは、リーガル(法律的)ブラックボックス、もう一つはテクニカル(技術的)ブラックボックス。

リーガルブラックボックスとは、そのアルゴリズムが企業秘密だとして、法律的に開示できないという問題。テクニカルブラックボックスは、ディープラーニングを進めていくと、判断過程がもはや人間には理解不能になる、という問題。この二つは、分けて論じる必要があるだろうと思っています。

あと、リーガルブラックボックスの中には、アルゴリズムを全部説明してしまうと、いわゆるゲーミング(アルゴリズムの悪用)が起きてしまう、という問題もあります。実際に中国で起きている話です。これを防ぐにはある程度隠さないといけない。

ただ、難しいのは、「隠す」ことによって、評価を受ける人々は、なぜ自分に低いスコアがついたのかがわからなくなる。そのことで、自己改善してスコアを上げる方法もつかめなくなる。こうなると、わけのわからないままスコアに翻弄されていくという、カフカ的な不条理な世界が出現する可能性がある。

バーチャルスラムの問題は、スコアの利用がどれだけ広がるか、にもよると思います。スコアが複数登場し、Aという会社の人工知能がつけるスコアと、B、C、Dという会社の人工知能がつけるスコアが異なる、という多元化した状態ならば、(評価を比較、相対化でき)あまり問題はなさそうです。スコアが一つ、あるいは二つだけだと、どこにいってもそのスコアを提示させられることになる。そうすると、どこにいっても排除されるというバーチャルスラムの問題が起きてくるんじゃないかと思います。

これについては、改善策も議論されています。EUの「一般データ保護規則(GDPR)」でも、AIなどを用いた完全化自動化決定を原則禁止し、こうした決定を行う場合にも、AIの判断ロジックについて説明しなければならないなどの制約を課しています。このようなセーフガードについても、(日本でも)積極的に議論をしていかなければならないと思います。

●AIができることとできないこと

平:私のアプローチは「事件」、山本先生は憲法、人権といった「法律」からのアプローチでした。栗原先生は、まさにAI研究・開発の真ん中にいらっしゃる方です。そのお立場から、AIをめぐる「事件」、法律家の目から見たリスクについて、どうお考えになるかというところをお話しいただきたいと思います。

栗原聡氏:栗原です。大学では人工知能の研究をしています。みなさん、人工知能というと、ディープラーニング(深層学習)、マシンラーニング(機械学習)を想像すると思います。人工知能とは「人工的な知能」という意味です。人工心肺や人工ダイヤモンドなど、「人工」がつく言葉はいろいろあります。これらの「人工」物は、あらかじめつくるものがわかっていないとつくれません。だとすると人工知能の場合は、「知能」とは何か、ということがわかっていなければ、できないはずですね。

修正)004602

ところが「知能」というのはあまりにも抽象的な言葉です。みなさんも、「人工知能」といわれて頭に思い浮かべるものは、だいぶ違うと思います。ただそれに対して、僕が「いや、みなさんが思っていることは違うんです」とはいえません。みんなたぶん正しいんです。いろんな定義がある中で、それを「人工知能」という言葉でひとくくりにされてしまうので、いろんな人がいろんなイメージで語ることが、ミスリードが起きている原因ではないかと思います。しかも、みんなが思い浮かべる人工知能はかなり未来の人工知能なんです。

人工知能については、国としてもガイドラインづくりが進んでいます。内閣府がまとめているガイドライン「人間中心のAI社会原則」ですが、そこではちゃんと人工知能について定義をしてます。それは「高度に複雑な情報システム一般」。ある意味で割り切った定義です。街中にあるような「情報システム一般」と定義したことによって、みなさんがなんとなく思い浮かべている「人工知能」のイメージは、国の指針からは外れました。

今ここで議論している人工知能は、「情報システム一般」ではない(SF的なイメージを含めた)部分の話をしているんだと思います。

さきほど、人間にバイアスがあるか、AIにバイアスがあるのか、という話がありました。私は、バイアスは人間にあるのだろうと思います。ところが、僕ら自身は普段、自分にバイアスがあるとは思っていない。我々は中立だと思っている。でも現実には意識はしていなくても、バイアスはある。

これは、悪いことではありません。僕らは生命という存在として、この地球環境の中で種を保存するために生きている。種を保存するためには、オスとメスがいて、メスからすると、より自分の種を残してくれる強いオスを探す。これは動物の中で普通にあることです。競争原理の中で生きているのが種なんです。我々は種として、そもそも競争をする存在だとすると、その中に競争的な考え方、バイアスが入り込まない方がおかしいとも言えるのです。

ところが、それではよくない、ということで、さきほど「虚構」というお話がありましたが、(近代社会では)文化的に生きよう、社会的に生きよう、と人間は知恵を出して来たのです。

だがインターネットが出てきて、ソーシャルネットワークが出てきて、嫌なことは避けられるようになった。ソーシャルネットワークでは、嫌な人とは話さなくて済むように(社会性を希薄化させるような状態に)なりました。僕らは便利なことを追及する生き物なので、嫌なことは避けようとする。本来の多様性が失われつつあり、インターネットは集合知を生み出すはずが、集合愚を生み出す場となりつつあるのです。

ただ、今はまだ過渡期だと思うのです。技術は僕らがつくってきたものなのだから、変えられるはずです。ここで我々は、さらに技術で頑張って、それを(文化的、社会的な)元の状態に戻すように持っていけるのか。あるいはこの技術によって、我々のモラルとか人間性、さきほどの「虚構」ですね、それが引きはがされて、動物化してしまうのか。そのティッピングポイント(分岐点)、相転移(根本的な変化)を起こす場所に来ているように思います。

相転移して虚構がはがれて(動物化)しまうと、これは悲しいストーリーが待っている気がします。一方では、AIが僕らのモラルを引き戻してくれる、虚構がはがれそうなところを踏ん張ってくれ、新しい虚構に進化するというようなシナリオもあると思います。

自動運転車を考えてみましょう。そのメリットは運転手が楽をできる、という以外に、交通渋滞をなくすためにも使われる可能性がある。渋滞は、みんなが一斉に急ぐから起きてしまう。自動車レースで(事故発生時などの安全確保のために競技車のペースをコントロールする)ペースカーというものがありますが、渋滞しそうな場所で、わざとゆっくり動く自動運転車を1台走らせることで、渋滞を起こさないということができる。自動運転車はそんな(課題解決の)役割を担うことも可能です。

AIによるいろんな負の側面を見ることで、AIを使ってそこからどうやって戻ってくるんだ、という議論もできると思います。ただ、AIのリスクへの懸念一色で、開発の取り組みが止まってしまうと、逆に悲しいシナリオ展開になってしまう。もちろん、そのための対話は必要だと思っています。

平:私が最初のプレゼンで取り上げたAIのリスクに、「ターミネーター」のようなSF的なイメージを重ねている方も少なからずいると思います。その一方で、政府のガイドライン「人間中心のAI社会原則」案ではAIを、SF的ではない「情報システム一般」と限定する枠をはめた、というお話でした。AIの開発者、研究者と一般の人たちの間に広がるAIのイメージのギャップについて、もう少し伺いたいのですが。

栗原:一般の方が想像するAIは、それはそれで正しいと思います。知能をもっていて、我々と同じように動く、というイメージですね。それこそがAIの究極の姿です。

問題は、現実はそうじゃない、ということです。現実の今のAI技術は、そういうイメージからすると、はるかに遠い。画像を入力すると、それがイヌかネコか判定できるというような、「見る」「聞く」といった個別の技術レベルは人を超える性能となっています。ただそれは電卓が計算に優れている、というのと同じです。電卓は便利だからみんな使いますが、電卓のおかげで自分の計算能力が失われた、と被害者意識を持つ人はまずいませんよね。技術は、僕らを便利にするためのものですから、我々の代わりに認識してくれる技術があるのだったら、それはすごく役立つわけです。

技術が「道具」であるうちは、僕らが命令しないと動かない。お母さんが子どもに、「毎回毎回、いわれなきゃやらない。少しは自分で考えてやりなさい」といいますね。人間は怠ける生き物なので、「この道具、毎回毎回いわれてやるんじゃなくて、少しは自分で考えて動いてくれよ」と思う。僕らはいずれAIに対して、「自ら考えてちゃんと動け」と要求するでしょう。「自ら動く」には、そのためのインセンティブ(動機付け)が必要です。でもそれは、今のAIにはないモジュール(機能)なんです。例えば、映画の「ターミネーター」では、AIが存在し続けるためには人類が邪魔だと判断して、絶滅させようとします。実際にそのような目的を持ってしまっては困るわけですが。

自律的に動くAIをどう制御するかについては、人工知能学会でも議論を続けています。ただ、存在しない技術なので、明確な答えを出すのは困難です。一つの議論として、つくってみなければわからない、という意見もあります。すでにグーグル傘下のAIベンチャーであるディープマインド社など、自律型のAIの研究をしているところもあります。恩恵をもたらそうと思って研究は行われるわけですが、その一方で、悪用という懸念も出てくるわけです。でも、つくる技術がなければ、悪用を止めることはできません。

平:AIを兵器に搭載して自律的な機能を持たせる「LAWS(自律型殺傷兵器)」に対して、昨年の国際人工知能学会で、その開発、生産、取引、使用に参加しないとした宣言が発表されました。多くの専門家が賛同の署名をしており、栗原先生もそのお一人です。これは、AIの暴走というか、AIの兵器利用が悪い方に進んでいってコントロールがきかなくなるというリスクに対して、AIの開発者、研究者の間でも、懸念が広く共有されているということなんでしょうか?

栗原:そこは温度差もあります。技術も、一線を越えれば武器になる。武器になるからと開発をやめると、技術はそこで止まってしまう。ただ、人を殺傷するという目的でのAIはいけない、ということでの(宣言が掲げた)線引きだと思っています。

AIの暴走といわれましたが、暴走も様々です。

ディープマインドの囲碁AI「アルファ碁」が、韓国の囲碁チャンピオン、イ・セドル九段との5番勝負の第4局で、悪手を繰り出し負けました。あの時にも、「暴走」といわれました。ただ、あれはAIが暴走したわけではなく、単に学習していない手を打たれたので、対応できなかったということです。

一方で、プログラムを一つひとつ全く間違いがないように人間が書いて、絶対安心というロボットがあったとしても、それが複数台連携する状況になると話が変わってきます。ロボットが10通りの動きをするとして、それが2台になるとそのパターンの組み合わせは100通りです。ロボットの数が増えれば増えるほど、その連携した動作の組み合わせは膨大に増えます。すると、一つひとつのロボットは、人間がちゃんと設計してつくったにもかかわらず、(ロボットの群れとしては)想定外の連携を起こしてしまう可能性がある。

同じことが株取引で起きたのが「フラッシュ・クラッシュ」です。それぞれのAIには悪意はなく、ちゃんとつくってあるにもかかわらず、ああいったこと(大暴落)が起きてしまう。このようなことは、予想も難しいし、現状では防ぐことはかなり難しい。

これが株じゃなく、ドローンだとしたら。一つひとつのドローンは確実に制御可能だとしても、ドローンが群れになることで、想定してなかった攻撃をしてしまったらどうなるか。この問題は、実際につくっている現場でどれぐらい認識されているのだろうと思います。もし、想定外のことが起きて、それがまかり間違って、となるとちょっと怖いな、と感じるところではあります。

●情報空間とAI

平:次に、フェイクニュースなどの情報空間とAIとの関わりについて、津田さんにお願いします。

津田大介氏:『悪のAI論』で提起されていた問題はたくさんありますが、短くまとめると、技術と倫理の問題をどう考えるのかということに尽きると思います。人間とAIのどちらの方がバイアスがあるのか。AIのバイアスは、人間がどういうデータを入れるかによって決まるんだから、そもそもその二分法は間違いじゃないですか、という論点もある。今、AIを技術的に礼賛するようなブームが続いていますが、そのなかで見落とされがちな論点に光をあてて、今後議論すべきことを抽出した優れた問題提起の書だな、と思いました。

補正)011130

平:もっといってください(笑)。

津田:フェイクニュースの問題が注目されたのが2016年以降。ブレグジットやトランプ大統領の誕生ぐらいからいわれてきたフェイクニュースの議論に、「ディープフェイクス」のようなものが登場したことで、一つの結論が出たと思います。それは、受け手側のメディアリテラシーだけでフェイクニュースの問題を解決するのはもはや不可能だということです。

フェイクというのは、これからどんどん巧妙になっていき、それが拡散するところでもAIが使われる。メディアでいわれるような啓蒙的な対策のレベルは、もう超えてしまっている、というのが正直な感想です。ソーシャルメディアでは、メディアリテラシーが高い人間であっても、フェイクニュースやデマに引っかかっているところをよく見ます。日に日にフェイクは巧妙化していくし、その状況を前提としなければいけない。もちろんメディアリテラシーを鍛えることは大事ですし、その努力は続けなければならないんですけどね。

AIと差別やジェンダーの問題の話を移すと、似たような体験は過去にもありました。僕は今、ちょうど45歳で、就職活動をした時期が、就職氷河期が始まるぐらいのタイミングでした。女性はとりわけ就職が厳しい時代です。僕は早稲田大学に在学していましたが、早稲田でも女子と男子で、就活サイトの返事がくる割合が全然違うんですね。体感ですが5倍、10倍ぐらいの差があった。AIではないですが、就活サイトというフィルターに入力されたデータが、出力の段階では、男女で有意な差になって現れていたということです。

これは、先ほど山本さんがおっしゃっていた、人間に面接されたいかAIに面接されたいか、という質問に対して、学生の半分がAIと回答したという感覚と、つながっていると思うんです。人間にお願いして、就活サイトに登録すると、そういう差別受けちゃうんだったら、AIの方がちゃんと採点してくれるかもしれない、と。

同時に、それはゲーミングの対象になる可能性もある。さきほども出たように、信用スコアがこれからどんどん広がっていき、社会でそれが使われるようになると、それに対するSEO(検索結果の上位に表示されるための取り組み)のような動きが出てくる。AIで採用されるなら、こういう風に行動すれば就職には有利だ、と。今までなら、エビデンスもないような就活ノウハウの本を読んだりしていたものが、アルゴリズムが可視化していくのであれば、最適化の余地が生まれる。

SEOが進んだ結果何が起きたか、それは検索エンジンとしてのグーグルの劣化です。今、グーグルが本当に使いづらい。何かを調べたいと思っても、上位にくるのは中身のないトレンドブログ(はやりの話題を集めたアフィリエイトサイト)ばかり。10年、15年前の情報を調べるのであれば、グーグルよりも新聞社の記事データベースで、期間を指定して調べた方がいろんなことがわかります。グーグルはずっと闘っているわけだけれども、SEOによって、本来提供しようとしていた価値がどんどん毀損される状況が生まれている。
グーグルで起きたことと同様に、AIが社会の中に浸透していって、それが社会の様々な決定に使われていったら、SEOがどんどん出てきて、その結果、本来AIで目指そうとした価値が毀損される状況が起きるんじゃないかな、という懸念がありますね。

人間に面接されたいか、AIに面接されたいか。それは、2006年に出た梅田望夫さんの『ウェブ進化論』がベストセラーになった時から、ずっとつながっている議論としてある。グーグルは、常にすべての情報を収集して、整理して、ある種、世界政府のような存在をつくろうとしている。あの当時は、それが結構、楽観的な未来として語られていた。それがフェイスブックも出てきて、グーグルも商業的になって、あの頃に描かれていた「ウェブ2.0」的な未来とは、ちょっと違う方向に進んでいる。

あの時に僕がぼんやりと考えていたのは、政治家に統治されるのと、グーグルに統治されるんだったら、グーグルの方がいいんじゃないか、ということでした。それを今に引きつけて考えてみると、統計とか公文書を改ざんして、様々なエビデンスとか、デュープロセスとかをないがしろにしている政権がありますね。どこかの国に。そんな政権に統治してもらいたいのか。様々なエビデンスとかデータをもとに、AIでプライバシーデータを全部管理して、評価をつけて、人間を自然とコントロールするようなマーク・ザッカーバーグに統治してほしいのか――。だけれど、現政権もフェイスブックも、どちらも倫理的に大きな問題を抱えている。選べねえよ! っていう。

結局、人間もAIも信用できないけれど、どちらかを選ばないといけないという、地獄のような環境を我々は生きているんじゃないか。そうやって全体状況を見ると、相対的にはまだグーグルが一番信用できるのかな、と一周回ってきているのが、今の僕の問題意識でもあります。

AIやディープラーニングは技術的には本当にすばらしいものだと思います。どんどん進めていけばいいと思うし、社会にインストールするメリットが大きいところはしていけばいいと思います。具体的にはさいたま市が、20~30人の職員が1週間かけてやっていた保育園の入所選考の複雑なマッチングを、AIはわずか数秒で終わらせたといいます。AI導入で職員をリストラするのではなくて、もっときめ細かい保護者たちへの支援などに空いたリソースをつぎ込んでいけばいい。あるいは医療。AIは画像認識が得意ですから、匿名化した画像を大量に読み込ませることで、がんの早期発見につなげるとか。そういうところはどんどんAIを使っていけばいいと思います。

AIを入試に使いましょう、採用試験に使いましょう、会社の人事評価に使いましょう、っていうと、おかしなことが起きてしまうんじゃないか。そこについては考えた方がいいというのが僕のスタンスですね。

AIは確かに重要な技術なんだけれども、それを過度に社会的な選別のシステムに導入していくと、どうなるか。AIは学習データがないと精度が高くなっていかないので、学習データの質に影響される。その学習データは現実の社会を反映している。アマゾンがAI採用をやめた理由が「女性差別」。男性優位社会で女性が不利な状況で、そのデータを読み込ませた結果です。これは、すごく示唆的な話だと思います。

AIを社会的な評価システムに過度に導入してしまうと、現在、社会的に優位にある立場の人、富裕層とか白人とか男性とか、その構造が固定化、あるいは拡大してしまう危険性がある。このことの議論を始めなければいけないと感じています。

●「フェアネス」は複数ある

平:人間のバイアスとAIのバイアス。最も違うところは、AIは極端にスケール(処理規模が拡大)する、という点ではないかと思います。いい方にスケールするならみんなハッピーでいいんですけど。もし、特定のグループに対して不利な判断が起きると、偏見を持った人間が手作業でやっていることの何倍もの規模で、ネガティブな結果が広がってしまうという怖さがある。その点はいかがでしょう。

山本:そういうリスクはあるんだろうと思います。グループ・プライバシー(アルゴリズムなどによるグループ化で露出するプライバシー)などの議論が起きているのはそのためですね。これへの対処法の一つは、アメリカで議論されているような形で、アルゴリズムの重みづけを人為的に変えていくことなのだと思います。先ほども触れましたが、アメリカの一部の自治体で導入しているAIでは、人種の重みを落とすような形でアルゴリズムを設計することで、人種への差別的インパクトを軽減しようとしています。アルゴリズム上のアファーマティブ・アクションですね。

ただ、繰り返しになりますが、それはやりすぎてしまうと、逆の影響が出てしまう。多数派への逆差別ですね。そのバランスをどういう風に考えるのか。この点は非常に重要な政策的な問題になってくるのかな、と思います。

平:どんなバランスが欲しいのか、どんな公平がその場に一番フィットしているのか。それを設計する人間の側でイメージしていかないと、どこまでいっても着地点が見つからない、ということになってしまいそうですね。

山本:それは全くその通りです。予測精度を落として、ある種の憲法的なフェアネスを高める。ジェンダーとか人種とか住所とか、そういったセンシティブや属性を落としていくと、予測精度は落ちる可能性があります。そういうアルゴリズムを、企業が使いたがるかどうかという問題ですね。そうすると、それはある程度、ディスカウントした(割り引いた)ものになってしまうので、それは使いたくない、と企業は考えるかも知れない。そうすると結局、正確で効率的に使えるアルゴリズムを企業などは欲しがるかもしれない。そこに対して、どういうメッセージを投げかけられるか。

予測精度の高さこそがフェアネスだと考えれば、人種は相関しているだろうから含めた方がいいということになるし、差別を再生産することが問題だと考えるなら、憲法的フェアネスが重要になる。フェアネスの概念は複数あり得る。

日本の場合は、正確性とか効率性がフェアネスになってしまう可能性がある。そこをどう考えるかということですね。

津田:公平と公正、ということですね。

平:性別や人種などの属性を落とせば、差別は起きないんじゃないかとも思える。でも実際には、例えば郵便番号が残っていると、アメリカなどは特にそうですが、その地域の所得レベルや住民の人種構成のデータを重ねることで、当初排除したはずのバイアスが生き残ってしまうということもある。バイアスに直接的に関わる要素を排除しても、間接的に関わる要素が残っていると、バイアスが排除し切れないということが、果てしなく起きる可能性もあるわけですね。バイアス排除の難しさという問題は、どう考えたらいいでしょう。

栗原:情報を落とす、というお話がありました。だが、現実には逆に情報が足りないんですよ。ビッグデータといって、データをためているんだけれども、我々人間の考え方、個性、行動を把握するのに、今取られているデータで、足りるわけがないんです。駅をスイカで通りました、何を買いました、そんなデータだけで僕らのことがすべてわかったら、苦労はないわけです。

僕らは起きている間、常にもの見て、聞いて、五感でずっと情報を収集し続けている生き物です。そのレベルの情報を取れたらどうなるか。それに比べると、今は、情報の質も量も足りないんです。現在は、今の技術で、取れるデータしか取っていない。それで十分だというのは、それはそれで危ない考え方だと思います。足りないんです。

さきほどの犯罪予測の話でも、再犯の可能性は7割だとする。とすると3割は罪を犯さないわけですね。その人がどういう生い立ちで何が起きてこうなったか、細かく調べていけば、この人なら次の罪は犯さない、という正確な判断ができるかもしれない。でも、そんなデータはないわけです。

もちろんプライバシーの問題はあるわけですが、プライバシーとはコンセンサスの問題でもあります。GPSのように、プライバシーの問題も指摘されながら、今ではそれなしでは生活できない、というコンセンサスができつつある技術もある。データを目いっぱい取って、それによって正しい判断が行われるということが担保されるんであれば、もしかしたら、僕らはもっとデータを出すかもしれない。データ自体に価値があるということでのデータ市場という考え方も出てきてます。

今の技術レベルを前提にして、議論を突き詰めていってしまうのはどうかな、とは思います。5年先にはかなり技術も変化しているはずですから。データを減らすという議論も現時点ではいいかもしれませんが、本質から考えると、まだまだデータは足りないと考えた方がいいように思います。

山本:トレードオフだと思います。バイアスを除去しようとすると、人為的にアルゴリズムに手を加えていくという方向性と、生まれた時からのデータをシームレスに取っていくという方向性が出てきます。どっちも何かを犠牲にすることになります。後者はプライバシーですね。それをどこまで許容するのか。プライバシーをすべて犠牲にして、フィジカルな世界をすべてサイバー空間への転写するのでれば、多くのバイアスは除去されて、予測はより正確になっていくんだけれども、そうしたプライバシー・ゼロの社会を我々は受け止められるか。先ほどの、均衡点をどう打つのか、というのは重要かなと思いますね。

●中国のようなシステム

平:その点について、参加者の方からの質問が寄せられています。中国は人口も多いし、プライバシーの枠組みも厳しくない。データを集めようとすると、いくらでも集められる。そういった、いわゆる「中国化」というのが、今後、AI社会を進めていく上では、力をもってくるんじゃないかというご指摘です。データを集めるという意味では、まさに一つの方向性だと思うんですが、それぞれのご見解はいかがでしょうか。

津田:僕は、日中ジャーナリスト交流会議というのに何度か出たことがあります。中国はフェイスブックもツイッターも使えなくて、「グレート・ファイアー・ウォール(ネットの万里の長城)」で様々な海外のサービスが使えない。ウェイボーなどの国内サービスも、民間の事業者が全部書き込みを監視していて、政府に問題がある、というような書き込みはどんどん削除されていく。

一方で2017年ごろから、ロシアの米大統領選への介入のように、民主主義に対してネットを通じた世論工作の介入ができる、ということが明らかになりました。また、お金儲けの目的でフェイクニュースやヘイトスピーチがどんどん拡散され、情報がゆがめられていくという状況が広がった。この問題については、プラットフォーム事業者もそれなりに対策もしているし、ジャーナリズムも頑張ってはいる。けれども、フェイクニュースとヘイトスピーチは減るどころか、どんどん深刻化し、インターネットが普及した先進諸国共通の問題になっている。

そして、これからさらに深刻になっていくのは、東南アジアなどの権威主義的な国です。ロシアや中国の動きを見ていて、ネットは統治に使うのにとても便利だとわかり、(同様の手法で)世論工作をし、フェイクニュースも流す。自分の本(『情報戦争を生き抜く』)でも書きましたけれども、先進各国ではフェイクニュース、ヘイトスピーチ、世論工作に対して、具体的な解決策はほとんど見えていない状況だと思います。

中国に話を戻すと、中国にはフェイクニュースの問題もヘイトスピーチの問題も「ない」んですね。欧米の先進国がこういう問題に悩んでいるけれども、中国ではインターネットを管理しているから、こういう問題が生じていない。実は中国が最も先に進んでいるんじゃないですかね、っていうことをある種の皮肉として中国側にいったら、中国の記者たちも笑っていましたね。

ただこれは今後確実に、西側諸国でも問題になる論点です。日本でもようやく巨大プラットフォーム規制の議論が始まりましたが、今のトレンドを見ると、中国のように国ごとに国境をつくって、サービスなども囲い込んだ方が国益になる、という議論が勢いをもち始めている。AI周りもそうですが、中国のネットにはいろんな論点があると思います。

データを誰がどこまで管理するか。EUはGDPRをつくって個人のデータを保護しようという姿勢、アメリカはプラットフォームを育てようという姿勢です。じゃあ、日本は中国になりたいのか、アメリカみたになりたいのか、そこがまったく見えないですね。

平:山本先生、いかがでしょう? ご著書(『おそろしいビッグデータ』)でも書かれた、「憲法を倒してから行け」ということになりますか。

山本:あれはちょっといいすぎた感じもありますが(笑)。いま話題に出たフェイクニュースとの関連でいうと、憲法がフェイクニュース対策の防波堤になることがある。「表現の自由」が憲法上保障されていますので、何でもかんでも「フェイクニュースだ」といって規制することは表現の自由に反することになる。昔から、虚偽的な言論も、一定の場合に保護してきた。「表現の自由」を重視する国であればあるほど、フェイクニュース対策は難しい、ということになりますね。ただ、あまりに認め過ぎると民主主義が崩壊する。民主主義も重要な憲法原理ですから、一定の調整が必要ですね。一般論としていえば、AI社会は憲法の枠内で実現すべきとは思います。

平:AI社会の競争力という点で、中国のような形の方が競争力がつくじゃないか、という議論に対してはいかがでしょうか。

山本:中国の評価が、誰の目線で行われているのかを冷静に見ることが重要だと思います。中国でも、沿岸部のように発展が進んでいるエリアと、そうでない内陸部とがある。例えば、内陸から沿岸部に出てきた人は、信用スコアも持っていないかもしれない。少数民族問題を含め、本当に今の中国の状況がいいのか、競争力が持続するのかというと、いろんな不安要素がある。監視社会化による全体国家化も不安要素の一つですよね。こうした不安要素が表出すると、「中国のような形の方が競争力がつく」とも一概にいえない気もします。

経済の発展についても、あそこまで監視されていると、中長期的に見てどうなのか、と。民主主義が安定せず、治安の悪化が問題となっている国にとっては、監視と結び付いた中国の社会信用システムは非常に魅力的な統治ツールなので、東南アジアとかアフリカに、このシステムごと「輸出」しています。そこで一つの経済圏ができて、それに対して自由と民主主義を、一応重視する国が対抗関係に入っていくというのが、一つのシナリオではあるわけですね。

日本が、EUとプライバシー保護の点で(個人データの移転先としての)十分性認定をとったことも、建前上は立憲民主主義の陣営に与することを選択した、ということになると思います。

●正しいリスクの理解とは

平:これまでの議論の中でも出てきていますが、改めて、AIのリスクについての、参加者の方からのご質問を紹介します。「人工知能技術のリスクを過大評価することで、人工知能技術が本来持つ利点を失ってしまう危険性もある。どのようにリスクを正しく理解するべきか。また,すべての人がリスクを正しく理解できるわけはなく、リスクを語る多くの人がポジショントークを行っている現状で、『正しいリスクの理解』はどのように担保すべきか」。正しいリスクの理解とは。

津田:今のご質問を裏返せば、AIのリスクを過小評価することで、様々な社会的な問題が野放しになってしまうという可能性もある。どちらもあるのだろうと思います。さきほど、平さんが五つのリスクの話をまとめていましたけれども、僕が考えたポイントは三つあります。

AIは必ず学習データが必要である。その質がある意味では、成否を決めるみたいなところがある。一つ目のリスクはAIに学習させるデータに偏りがないか。偏りがあった場合に、どのように補正するべきか。

もう一つのリスクは、アルゴリズムです。アルゴリズムの透明性とか、検証可能性が、どれだけあるのか。どのようなアルゴリズムでそれが設計されていて、それによって「バーチャルスラム」的な不幸な状況に追い込まれた時に、身に覚えがない人が、ある環境的要因によってスコア的に悪くなるということが起きる。アルゴリズムの検証ができればまだいいですが、アルゴリズムは非公開、公開したらSEOのようにゲーミングされてしまうので、となると検証できないので、いくらでも内部で操作ができてしまうという問題がある。

最後は、データは正しい、アルゴリズムもある程度は透明で検証もできるとしても、社会実装のところの問題が残ると思います。AIでは男性のAくんは77点で、女性のBさんは86点という結果を出したけれども、「女性は一律20点減点」という社長の鶴の一声で、それが反映されてしまう可能性もある。いくらAIが正しい数値を出しても、それを使う企業の側、実装する側で操作をしてしまう、というリスクがある。ここも検証可能性が非常に必要になってくると思います。

データの偏りのリスク。アルゴリズムが不透明なリスク。社会実装の段階がブラックボックスになっていることのリスク。こうした懸念点が三つあるので、ここにどう答えていくのか。第三者の検証可能性をどこまで担保するのか、という話に集約されていくとは思うんですけれど。

栗原:今のAIはデータがなきゃいけないというのは、その通りなんです。けれども、データがなくても動く方法もあるんです。進化計算と呼ばれる技術で、我々生物の進化の仕方を真似た方法です。

この方法では、人はAIに獲得して欲しい能力のみを提示します。あとは、その能力を持つようにAIを進化させるのです。進化計算の専門家から怒られてしまうかもしれませんが、要はいろいろ行き当たりばったり試して、獲得して欲しい能力に近づくAIのみを生き残らせ、そのAIからさらによいAIを作りだしてはそれを試す、という試行を延々と繰り返すのです。実際に、現在において利用されている方法です。ただ、この方法で我々が要求する能力をAIが獲得したとしても、そのAIが、どのような仕組みでその能力を生み出すのかについては不透明な部分があります。

AIのリスクというと、僕は科学技術のリスクと同じ文脈だと思うわけです。原子力でもそうです。原子力は利便性もあるけれど、問題もある。原子力の場合は、間違って使われるとどうなるか、ということは我々は経験しているからわかる。ところが人工知能は、ITであり、プログラムです。

遺伝子操作、原子力、これらは専門家でない我々には扱えません。ところが、AIについては、小学生でも書くことができる。敷居が低いんですね。我々が手にしているものが、どんなに影響力があるかということを、なかなか実感しにくい、厄介なものなんですね。これが厄介なものだということを理解するのはなかなか大変ですけれども、それをやらなければいけない、と思います。

人間は情報に流されるし、バイアスにも左右される弱い存在であるということ。その一方でAIの敷居は極めて低いということ。けれども、原子力に匹敵するようなものすごいパワーを持っているということ。この三つをどう理解していくかが重要です。この点を理解していないと、どんなにガイドラインをつくったところで、制御できなくなってしまう。

平:AIの透明性って、技術的に確保できるんですか?

栗原:無理です。できるわけないですよ。

平:えっ! アルゴリズムの透明性とか説明責任とか、少なくとも判断を説明できるようにしましょう、というのは様々な倫理綱領で、日本だけではなくEUでもそういったことを掲げていますね。IT企業でもAIに関する原則で、透明性とか説明責任を掲げますよね。あれは、無理なことをいっているんですか?

栗原:総務省の「AIネットワーク社会推進会議」の分科会メンバーとして議論した時にも、「それは無理だ」といいました。無理なんだけど、人間のレベルでわかった気になることはできるわけです。今のディープラーニングの研究でいえば、AIが判断したことを人間がわかりやすい形に翻訳する研究ってあるんです。それはAIがやっていることを完全に説明するわけではなくて、我々が理解できるレベルに落とす、ということしかないんですが。

平:ざっくりと、何となく説明できるぐらいの感じであればよしとする、という話なんですか。

栗原:そうでなければ、いっそのこと、「可読性がないAIは使用してはいけない!」ということにしてしまうということも、あるのかもしれないですね。

平:山本先生は最近、この問題に関して、「パーソナルデータ+α研究会」として「プロファイリングに関する提言案」と付属の「中間報告書」を出されました。「中間報告書」の中では、企業などが留意すべきチェックポイントを示されていて、AIの透明性や説明責任などにも言及しています。今の栗原先生のお話については、どう考えればいいでしょうか。

山本:あの研究会にもデータサイエンティストの方とかも入ってらっしゃって、透明性という言葉を使うのか、説明責任という言葉を使うのかなど激しい議論になりました。わかったような気にさせる、それなりに説明する、というのは「透明性」ではなく「説明責任」の問題だと。その程度の説明責任が果たされればよいのだ、という議論です。

GDPRの22条でも、完全自動化決定を入れる場合に、データ主体に説明を受ける権利や決定について争う権利を保障していますね。私自身が思うのは、パーフェクトな透明性ではなくて、必要とされる透明性、意味のある透明性が重要だということです。評価を受けた側がその説明を受けて、自分なりに解釈ができるぐらいの情報を提供すべきだと。まさに先日、EUに行ってきて、担当者とお話をしましたけど、重要なのは、インプットしたデータは何かと、それぞれに対する重みづけだと。ですから、それすら説明できないというのは、いくら予測精度が高いとしても、使ってはいけないということになるかもしれません。

ちなみに、あるデータサイエンティストの人に聞くと、理由づけようとする(因果関係の)世界というのは近代の世界なんだ、と。人工知能の世界はもうそういう世界ではなくて、相関関係の世界だと。因果関係ではなく相関関係の世界だというんですね。僕が理由の説明にこだわっていたからか、「山本くん、古いね」と一言いわれたんです(笑)。

さきほど、社会のあり方そのものの選択が迫られているという議論がありました。理由づける因果関係の世界にとどまるのか、そうではなく、理由づけない相関関係の世界へと飛び立つのか、そこも考えていかなければいけないのかな、という気がします。

津田:アルゴリズムに透明性の担保なんかできない――技術的にはそうだろうな、と僕も思います。とはいえ、異議申し立ての可能性を残しておく必要はあるでしょう。大学の試験などは、学生が納得しなかったら異議申し立てができて、こういう理由なんですよ、と説明し、納得してもらうという仕組みがある。AIによる選別が出てきたときに、異議申し立てができないとなると、いくらでも内部での操作が可能になってしまう。

AIが社会に利用されていけばいくほど、少なくとも異議申し立てができるような回路をある程度義務化するような議論には、つなげた方がいいんだろうなと思います。

●リテラシーをどうするか

平:最後に、本日のテーマでもある、リテラシーをどうするかについて。「AIが出した判断は正確だし、中立だし、そのまま受け止めるべきものだ」と考えるのではなく、「AIの判断でもどこかにバイアスがあるかもしれない」、あるいは「そもそものデータを誰かがいじっているかもしれない」と考える。もし判断がおかしい、と思うのであれば異議申し立てをする。今日の議論を整理すると、こういうことになるかと思います。ただこれには相当なリテラシーと意思の力が必要じゃないでしょうか。そういうリテラシーは、どう身につけていったらいいのか。これからの社会の中を、どう生き抜いていったらいいのか。それぞれ、アドバイスやお考えを頂戴できればと思います。

津田:主観、客観というのがありますが、たぶんAIはそのどちらでもない、というか。一般的には客観的なものと思われているでしょうが、実はそうではない、すごく揺らぎのあるものがAIなのかなと思います。ただ問題は、それが客観的なものの最上級であるかのように、世の中からみなされてしまう。そのことによる、社会的齟齬が起きる懸念があるんじゃないかなと考えています。AI技術を悪用すれば、容易にヘイトスピーチを拡大させることができるし、恣意的選別に客観的根拠らしきものが与えられてしまうようなところに目をむけたい、と思います。

米大統領選があった時に、トランプ氏を押し上げていたオルタナ右翼の一番の理論家といわれたジャレッド・テイラーにインタビューしました。なぜ、あなたはそんな差別的なことを発信しているんですか、と尋ねたところ、自分のいっていることは差別ではない、と。例えば、様々な統計を見ていけば、アジア人は黒人より頭がいいんだ、と。それはDNAレベルの違いで、むしろ個性と呼ぶべきもので、差別ではなく区別だと、まさに差別主義者がよくいうようなことをいうわけです。

AIは客観的なフィルターなんだから、AIがはさまることでバイアスがどんどんなくなって、差別的な待遇がなくなるんだ、という主張も割と近い危険性というか、罠があるなと思っています。このことについて有名な生物学者と話をしたことがあるんです。ジャレッド・テイラーがこんな話をしていたんだけど、どう思いますか、と聞いたら、「それは詭弁ですよ」と。もちろん、頭のよさ、学力というのは遺伝しますが、実際には社会的環境、どれだけ知的な情報とか刺激に集中できる環境を与えているか、ということの方が明らかに影響を与える。つまり貧困かどうか、ということの方が明らかに影響要因としては大きい。黒人は相対的に貧困家庭が多いから、一見、(テイラー氏の主張は)客観的に見えるけれども、実は客観的な議論ではない、と。

AIを客観的なフィルターとして世の中が使い始めると、客観的な根拠に裏付けされたかのような、「きれいな優生思想」のようなものが、できてしまう。そういった問題を防ぐ意味でも、山本先生が今日、何度も指摘しているAI時代のアファーマティブ・アクションをどう設計していくのか。この議論を始めなければいけないんじゃないかな、と思っています。今日は、その意味でも、僕の中でも思考が整理された有意義なディスカッションでした。

栗原:AIは一見、多くのデータを客観的に使うことで中立的に見えるのですが、実は偏っている。技術が進むことによって、変わることもあるんだけれども、現状はデータも十分ではない。「一説によると、AIはこういっている」というぐらいが、本当はいいと思います。むしろ、自分がどう考えるのかという、人間の意思の方がだいぶぐらついているんじゃないでしょうか。何かわからないことがあれば、検索して知識の「点」ばかりを探す。「点」と「点」を自分で結び付けて因果関係とか文脈を探すということが、僕らはだいぶ苦手になっているような気がしています。データに踊らされてしまって、AIはそういっているけれど自分はこう思う、という人間の意思が薄れてきているからじゃないかと思うんですね。

本来の人間力を高めろ、って僕はよくいうんですけど。AIと僕らはまったく違うものであって、僕らは僕らなりのよさがもちろんあるわけですよ。その人間力を高めていく中で、AIについては、「一説によれば」ぐらいに捉えておく方がいいと思います。あまりAIに踊らされないように。

山本:AIは過誤や揺らぎもあるけれど、やっぱり効率的だといったときに、人間はどうしても効率性の方を取って微細な過誤を捨象してしまう。そういう、ダメなところは、やっぱり人間の本来的な弱さに基づくリスクだと思います。それを我々としてはきちんと見定めていかないと。AIそのものに内在するリスクと、それを使う人間の側のリスクを混同してしまって、「AIは本来的に悪だ」というイメージだけが行き渡ってしまうと、それはよくないのだと思います。これはリテラシーの世界ですね。

ただし、AIの本質的なリスクもある。例えば、モアデータな社会になるという点です。これはどうしてもプライバシーとのトレードオフが生じる。これはリテラシーを高めたうえで、民主的に議論していなければならない。AIのアファーマティブ・アクションもそうですね。そうなると、AI研究者と人文社会系の研究者がちゃんと手をつないでいかなきゃいけないんだと思います。法とコード、法とアーキテクチャが連動していかなきゃいけない。憲法だったら憲法の価値というものを、法律だけではなく、アルゴリズムに落とし込んでいく、という作業ですよ。この協働が本当に必要になってくると思います。

平:そろそろ時間になりました。本日は、どうもありがとうございました。

修正)IMG_7274

——–
■最新刊『悪のAI論 あなたはここまで支配されている』(朝日新書、2月13日発売)

書影_1013_1

信じてはいけない_書影

■フェイクニュースの本当の怖さとは?『信じてはいけない 民主主義を壊すフェイクニュースの正体

■デジタルメディア・リテラシーをまとめたダン・ギルモア著の『あなたがメディア ソーシャル新時代の情報術』(拙訳)全文公開中

広告

コメントを残す

以下に詳細を記入するか、アイコンをクリックしてログインしてください。

WordPress.com ロゴ

WordPress.com アカウントを使ってコメントしています。 ログアウト /  変更 )

Google フォト

Google アカウントを使ってコメントしています。 ログアウト /  変更 )

Twitter 画像

Twitter アカウントを使ってコメントしています。 ログアウト /  変更 )

Facebook の写真

Facebook アカウントを使ってコメントしています。 ログアウト /  変更 )

%s と連携中

アーカイブ

ブログ統計情報

  • 785,821 ヒット
%d人のブロガーが「いいね」をつけました。