◆ データ活用では、最後は洞察力がものをいう
今はビッグデータの時代と言われ、そのデータをどうにか活用しようと、大企業とベンチャー企業を中心に、しのぎを削っています。非常に面白い構図です。日本社会の場合、世界で戦っているような超有名な製造業やIT企業と、ここ10年ぐらいに創業したAI・機械学習・データ分析系のベンチャー企業が躍動しています。世界的な傾向なのかもしれません。その中で、置いてけぼり感のあるのは、そこそこの社歴のある中堅・中小企業でしょう。
さらに面白いのは、「小さい企業≒大企業の下請け」という構図が、このビッグデータという社会では、それほど当てはまらないということ。AI・機械学習・データ分析系のベンチャー企業には、古くからある大企業にはないものを持っているからです。実際は、ベンチャー企業というよりも、その創業者や経営陣が、古くからある大企業にはないものを持っています。
大企業からは多くの場合、的確な指示を出すことができません。大企業主導でやるならば、そういう人を他社から引き抜き社内に抱え込むか、ベンチャー企業そのものを買収した方がよいでしょう。それぐらい、思考回路が異なります。
それはさておき、どんなに順調にビッグデータ活用プロジェクトが社内で進んでも、最後にちょっとしたカベが待ち構えています。このカベは、昔からあるカベで、私がデータ分析の世界に入った約20年前からありました。
そのカベとは、「洞察力」のカベです。
私は20代のころ国家機関にいましたが、このカベはすでにありました。比較的、IT環境や予算に恵まれ、データもたくさんありましたが、このカベが立ちはだかっていました。このカベは、日本だけのカベではありません。米国でも同じようでした。そのカベにうまく対処しないと、事実誤認を招き大変なことになります。
1. データ分析:データは世界の極一部
当然ですが、データはこの世の中すべてをカバーしていません。
例えば、朝家を出て会社に行くまでのデータが記録されることは稀です。単に、移動経路だけであれば携帯電話のGPSなどを活用して記録されるかもしれません。しかし、電車に乗ったとき右足だったのか左足だったのかとか、電車で何分座れたとか、電車で本を何ページ読んだとか、電車内でボーとしていた時間とか、電車内で考えていたこととか、降りた駅から会社までに見た木の本数と種類とか、小鳥のさえずりとか、道路で車が何台通ったとか、車の運転手が誰であったとか、車の運転手が何を考えていたのとか、そのようなこと全てを、記録することは少ないでしょう。
要するに、データはどんなに集めても、所詮何かの一部分を抜き出したものに過ぎず、抜き出せなかった部分は、データとして記録されず分からないということです。
2. データ分析:データは手掛かり
データは、手掛かりに過ぎません。
データのとして残されていいない見えないところは、データという手掛かりを通して洞察する必要があります。洞察するのは、もちろん人間です。機械ではありません。最近のECサイトは、商品をレコメンドしてくれます。そのレコメンドに応じて、実際に商品を買ってしまった人も多いのではないでしょうか。しかし、レコメンドされた商品をすべてを購入した人は少ないでしょう。少なくとも、私はそのような人を見たことがありません。つまり、最後は人が買うか買わないかを決めています。
何を言いたいかというと、商品のレコメンドは、そのECサイトの購買データなどの蓄積されたデータから導き出したものです。購買以外のデータは、ほとんど使っていません。使えるとしても、属性データ（性別や年代など）ぐらいでしょう。購買行動した人間の、極一部のデータを使ったにすぎません。
ECサイトではなく、営業パーソンがこのレコメンド情報を持っていれば、どうなるでしょうか。
人によっては何も考えず、レコメンド情報通りに営業するかもしません。しかし多くの営業パーソンは、自分自身の頭の中にある情報とコンピュータがはじき出したレコメンド情報を掛け合わせて、レコメンドされた商品を顧客に勧めたり勧めなかったりします。営業パーソンは、顧客にレコメンド商品を勧めるという決断をするために、顧客は本当に欲しいのだろうか？今が勧めるタイミングなのだろうか？いくらぐらいであれば購入してくれるだろうか？などと考えると思います。
データとして蓄積されていない情報、つまり、自分自身の頭の中にある情報などを使って判断し決断しています。それが洞察です。
3.データ分析：データには誤差がある
そもそもデータには誤差があります。有名なところでは、測定誤差、計算誤差、系統誤差、統計誤差、偶然誤差、などです。
- 測定誤差とは、測定するときに生じる誤差で、例えばGPSの位置情報のズレなどです。
- 計算誤差とは、コンピュータ内の処理で生じる誤差で、端数処理の際の丸め誤差などです。
- 系統誤差とは、同じように測定している限り生じる誤差で、原因に対処すれば取り除ける誤差です。
- 統計誤差とは、データ全体の一部をサンプリングする際に生じる誤差です。
- 偶然誤差とは、データを測定するたびにランダムに生じる誤差です。
他にも、色々な誤差があるかもしれません。要するに、データそのものも絶対的なものではなく、何かしら誤差が混じっています。この誤差を乗り越えるためには、人による洞察がものをいいます。
4. データ分析:最後は洞察力がものをいう
データは世界の極一部を記録したものに過ぎず、しかも誤差が混じっています。厄介なことです。そう考えると、データ活用やAI化は夢のまた夢な気がします。ご安心ください。それを突破するのに必要になるのが、人間の「洞察力」です。
このIT化の時代、ITシステムだけでも人間だけでも成り立たず、ITシステムと人間が支援しあう関係にあります。
AI化だの機械学習化だの言っても、メンテンナンスやチューニングをするのは人間です。人間が支援しています。さらに、AIのレコメンドやITシステムの計算結果を信じる信じないを決めるのも人間ですし、最後の決断を下すのも人間です。
多くの単純作業や単純な思考は機械やAIに取って代わられるかもしれません。しかし、現在のAIの最大の弱点は、データ化されていないことは考慮できない、ということにです。さらに、データ化されていたとしても、データソースが異なり、全く無関係に見えるデータを結びつけたり、そこから面白いことを発想することは苦手です。現在のAIには、インスピレーションを生み出せないからです。
...もしかしたら、インスピレーションを搭載したAIが実現するかもしれませんが、この世すべてをデータ化することは、しばらくは無理でしょう。例えば、装着していて違和感のない脳や心理、身体情報などを計測するIoTデバイスが完成し、すべての人間や動物などに埋め込まれデータ化されれば別ですが。要するに、しばらくは、最後は洞察力がものをいいます。今ほどITに恵まれていない約20年前から同様の問題がありました。逆に、すぐれた洞察力さえあれば、IT化が貧弱でもどうにかなります。
5. データ分析:高度な知的労働（洞察力）の時代
今回は、「データ活用で忘れてはいけないこと。それは最後は洞察力がものをいうということ」というお話しをしました。AI化がどんどん進んでも、しばらくは洞察力は人間が担う必要がありそうです。なぜならば、現在のAIには、データ化されていないことは考慮できない、という弱点があるからです。そのデータ化されていないことも含めて世の中を見る力が洞察力です。そもそも、データは、人間の洞察力を高めるのに有用です。全く見当のつかなかったことが、データによって見通しが良くなることがあります。洞察力をサポートしてくれる存在です。
すでにそうですが、人間の体力を酷使する肉体労働の時代から、人間の頭脳を酷使する知的労働の時代へと、これからは益々突き進みそうです。そして、ビッグデータの時代は、データを絡めた高度な知的労働（洞察力）の時代だと思います。そういうこともあり、今の小学生から高校生にかけて学校で、統計学・データ分析教育がなされているのだと思います。