何故人間は信用できてAIは信用できないのか（何故最後の責任ある行為は人間にやらせたいのか）

人は生まれた時から存在していたり、十代ぐらいまでに世の中に出てきた物を信用する傾向にあると思います。1980年代生まれの僕は、新聞、印刷された本、テレビの報道なんかを信用しがちです。ウェブに触れたのは20歳ぐらいなので、どちらかと言えば信用できない方に入り、「ウィキペディアは便利だし面白いけど、そのまま信じてレポートに使ってはいけない、裏を取らねばならない」という感覚を持っています。とは言っても二十年以上毎日のように触れてきているわけだから、段々信用するようになっている、或いはどの程度なら信用していいかという感覚を育んできています。

多分、人間は、一貫性のある物を信用するのでしょう。本には本当のことが書かれてきた積み重ねがあるから信じる。ウィキペディアも、警戒しながら見てきたら結構本当のことを書いてあるな、という体験が積み重なって信じてきている。「本当である」という一貫性を見出すことで信じているわけです。
「本当」みたいなそれ自体が信じる・信じないの対象である概念を持ってくるとややこしいけど、それ以外でもいいです。街の川に架かった橋は生まれた時からずっとあって、何十年も人間や自動車が通ってびくともしていない、それが積み重なって「落ちない、渡れる」と信用します。

仕事に於いて、ある人を信用して何かをやらせるというのはどういうことなんでしょう。
誰でもいいわけではない、その人だから信用できる。日々の仕事でその人の仕事を見てきて、ある作業については一貫性があり、それが水準を満たしているので、作業をやらせてもいいと思う。これはストレートな信用です。その人の信用を上げる為に、信用を要求されるような作業をやらせることもあります。作業自体は失敗するかも知れないけどやらせてみよう、作業については今後一貫して成功できるように、何度もやる機会を与える。
また、人間というものをそもそも信用している、ということがあります。平和な環境で育ってくると、これまで見てきた人間に「悪い人はあまりいない」という一貫性を見出してきているかも知れません。そうではなくても「こういう時、人はこう行動する」みたいな積み重ねはあるわけです。
更に、社会—と言うと大袈裟かも知れませんが、組織への信用もある。学校や会社では「成員を信用できる、という前提で仕組みが作られている」という様子を十年以上一貫して体感してきています。実際に一人一人が信用できるかは別です。でも、嘘を吐かないといったある点について信用できると見做して校則や働き方が定まっている様子は一貫して目にしてきているわけです。 恐らくこの三つが重なって、例えば契約や決裁、ソフトウェアのリリースなどの為の最後の部分を任せているのだと思います。

ここ数年、AIをどう使うかという話がすごく積み重なっています。これはだから、ある種の作業においてはAIに一貫性があるはずだと思い、実際その前提で何かやらせてきているということだと思います。そのうち「この使い方ならAIにはこういう風にやらせれば信用できる」という知見が常識化するでしょう。既にそうなっている物もあることでしょう。「そういうもの」としてチームの開発フローや社内の業務フローが構築されていく。

AIの性質や性能の話というよりは、観察した時間の積み重ねと、そこから一貫性を読み取る試みの結果として「AIを信用して任せる」となっていくのだと思います。
細かく見ると、「AIは信用できるか否か」ではなく「どの領域だったらどの程度、どういう信用の仕方ができるのか」になっていくことでしょう。

そうした中で、では実際今この作業をAIに任せるかどうか、どう任せるか。それは常識や制度には任せられないところです。個人として判断するには、AI「個人」を知っている必要があります。普段からAIに色々なことをやらせて、信用できることとできないことを理解し、それを更新し続けることが必要になります。その延長に、「AIが言うなら……」という信用があるはずです。