なぜ「解釈可能ML(機械学習)」が必要なのか? 主な手法と事例のご紹介(その3):データ分析講座(その358)

New

なぜ「解釈可能ML(機械学習)」が必要なのか? 主な手法と事例のご紹介(その3):データ分析講座(その358)

【目次】

     ▼さらに深く学ぶなら!
    「データ分析」に関するセミナーはこちら!

    さらに幅広く学ぶなら!
    「分野別のカリキュラム」に関するオンデマンドセミナーはこちら!

    近年、機械学習の技術はビジネスのあらゆる分野で急速に進化し、企業の意思決定プロセスに革命をもたらしています。しかし、複雑化するモデルの背後にある「なぜ」という問いに答えることは、ますます困難になってきています。今回は、解釈可能な機械学習モデルと事後的解釈手法の両方に焦点を当て、実際のビジネスシーンでの応用事例を通じて、これらの手法がどのように企業の意思決定を支援し、ビジネス価値を高めることができるかを説明します。医療、金融、小売といった多様な業界における事例を紹介し、機械学習モデルの透明性と効果性を最大化するための戦略の重要性を感じて頂ければと思います。今回は、その3です。

    【記事要約】

    解釈可能な機械学習モデルと事後的解釈手法がビジネスにおいていかに重要であるかを、幾つかの事例を通じて説明しました。これらの先進的な手法がどのように実用的なデータインサイトを提供し、企業の意思決定プロセスを支援したのか、何となく理解できたのではないかと思います。解釈可能な機械学習モデルは、予測の背後にある論理を明確にし、解釈不可能な機械学習モデルに対しては事後的解釈手法により、より複雑なモデルの意思決定プロセスを理解するための鍵を提供することがえきます。このようにして、ビジネスはデータ駆動型の意思決定を行い、より効果的な戦略を策定し、競争上の優位性を確保することができます。今後も、機械学習モデルの進化とともに、その解釈と応用の方法はさらに重要性を増していくでしょう。

     

    ◆ なぜ「解釈可能ML(機械学習)」が必要なのか? 主な手法と事例のご紹介(連載3回のその3)

     

    1. 解釈不可能なモデルのための事後的解釈手法

    解釈が難しい機械学習モデル(例えば、深層ニューラルネットワークや複雑なアンサンブルモデル)の場合、事後的に解釈を提供する手法を用います。

    (1)主な手法

    ① ローカル解釈可能性を提供する主な手法

    シャープレイ値
    ゲーム理論に基づくこのアプローチは、各特徴が最終的な予測にどれだけ貢献したかを定量的に評価します。例えば、医療画像診断モデルにおいて、どの画像領域(ピクセル)が診断結果に最も大きな影響を与えたかを特定するのに使用されます。

     

    カウンターファクチュアル説明
    ある特定の予測結果を変更するためには、どの入力特徴をどのように変える必要があるかを示します。例えば、ローン承認モデルにおいて、拒否された申請が承認されるためにはどの特徴(収入、クレジットスコアなど)を改善する必要があるかを特定するのに役立ちます。

     

    LIME(Local Interpretable Model-Agnostic Explanations)
    個別の予測周辺で局所的なモデル(通常は単純なモデル)を訓練し、その予測を解釈します。これは、複雑なモデルが特定のサンプルに対してどのように振る舞うかを理解するのに使われます。

     

    ② グローバル解釈可能性を提供する主な手法

    順列特徴重要度
    モデルの予測精度に与える各特徴の影響を評価するために、特徴の値をランダムに変更(順列)し、その影響を測定します。これにより、モデル全体でどの特徴が最も重要かが分かります。

     

    部分依存プロット(Partial Dependence Plots, PDP)
    一つまたは二つの特徴がモデルの予測に与える平均的な影響を可視化します。これは、特定の特徴が目標変数に与える影響を理解するのに役立ちます。

     

    (2)シャープレイ値の事例: 信用スコアリング

    ある銀行が、顧客のクレジットスコアを予測するために機械学習モデルを使用しています。モデルは、顧客の年収、職歴、支払い履歴、現在の債務、信用履歴の長さなどの特徴を考慮して、クレジットスコアを計算します。シャープレイ値は、各特徴が顧客のクレジットスコア予測にどの程度寄与しているかを定量的に評価するために使われます。

     

    個々の特徴の寄与
    たとえば、ある顧客のクレジットスコア予測において、年収が高く、支払い履歴が良好な場合、これらの特徴のシャープレイ値は高くなります。逆に、顧客が高い債務を抱えている場合、この特徴のシャープレイ値は負の値になる可能性があり、スコアに悪影響を与えていることを示します。

     

    合計寄与
    すべての特徴のシャープレイ値の合計は、最終的なクレジットスコア予測と一致します。これにより、どの特徴が予測に最も影響を与えたか、または予測を引き下げたかが明確になります。

     

    公平性と透明性
    シャープレイ値を用いることで、予測プロセスの公平性と透明性が高まります。顧客は、自分のスコアがどのように決定されたかを理解でき、必要に応じて行動を変更することができます。

     

    シャープレイ値は、複雑なモデルの予測における各特徴の貢献度を公平かつ客観的に評価する強力なツールです。クレジットスコアリングの事例では、各特徴がスコアに与える影響を明確にし、顧客に対する説明責任を果たすのに役立ちます。

     

    (3)カウンターファクチュアル説明の事例: ローン申請の承認

    ある銀行が、機械学習モデルを用いて個人ローンの申請を評価しています。このモデルは、申請者の年収、雇用状況、クレジットスコア、過去のローン履歴、他の債務などの情報を基に、ローンを承認するかどう...

    なぜ「解釈可能ML(機械学習)」が必要なのか? 主な手法と事例のご紹介(その3):データ分析講座(その358)

    【目次】

       ▼さらに深く学ぶなら!
      「データ分析」に関するセミナーはこちら!

      さらに幅広く学ぶなら!
      「分野別のカリキュラム」に関するオンデマンドセミナーはこちら!

      近年、機械学習の技術はビジネスのあらゆる分野で急速に進化し、企業の意思決定プロセスに革命をもたらしています。しかし、複雑化するモデルの背後にある「なぜ」という問いに答えることは、ますます困難になってきています。今回は、解釈可能な機械学習モデルと事後的解釈手法の両方に焦点を当て、実際のビジネスシーンでの応用事例を通じて、これらの手法がどのように企業の意思決定を支援し、ビジネス価値を高めることができるかを説明します。医療、金融、小売といった多様な業界における事例を紹介し、機械学習モデルの透明性と効果性を最大化するための戦略の重要性を感じて頂ければと思います。今回は、その3です。

      【記事要約】

      解釈可能な機械学習モデルと事後的解釈手法がビジネスにおいていかに重要であるかを、幾つかの事例を通じて説明しました。これらの先進的な手法がどのように実用的なデータインサイトを提供し、企業の意思決定プロセスを支援したのか、何となく理解できたのではないかと思います。解釈可能な機械学習モデルは、予測の背後にある論理を明確にし、解釈不可能な機械学習モデルに対しては事後的解釈手法により、より複雑なモデルの意思決定プロセスを理解するための鍵を提供することがえきます。このようにして、ビジネスはデータ駆動型の意思決定を行い、より効果的な戦略を策定し、競争上の優位性を確保することができます。今後も、機械学習モデルの進化とともに、その解釈と応用の方法はさらに重要性を増していくでしょう。

       

      ◆ なぜ「解釈可能ML(機械学習)」が必要なのか? 主な手法と事例のご紹介(連載3回のその3)

       

      1. 解釈不可能なモデルのための事後的解釈手法

      解釈が難しい機械学習モデル(例えば、深層ニューラルネットワークや複雑なアンサンブルモデル)の場合、事後的に解釈を提供する手法を用います。

      (1)主な手法

      ① ローカル解釈可能性を提供する主な手法

      シャープレイ値
      ゲーム理論に基づくこのアプローチは、各特徴が最終的な予測にどれだけ貢献したかを定量的に評価します。例えば、医療画像診断モデルにおいて、どの画像領域(ピクセル)が診断結果に最も大きな影響を与えたかを特定するのに使用されます。

       

      カウンターファクチュアル説明
      ある特定の予測結果を変更するためには、どの入力特徴をどのように変える必要があるかを示します。例えば、ローン承認モデルにおいて、拒否された申請が承認されるためにはどの特徴(収入、クレジットスコアなど)を改善する必要があるかを特定するのに役立ちます。

       

      LIME(Local Interpretable Model-Agnostic Explanations)
      個別の予測周辺で局所的なモデル(通常は単純なモデル)を訓練し、その予測を解釈します。これは、複雑なモデルが特定のサンプルに対してどのように振る舞うかを理解するのに使われます。

       

      ② グローバル解釈可能性を提供する主な手法

      順列特徴重要度
      モデルの予測精度に与える各特徴の影響を評価するために、特徴の値をランダムに変更(順列)し、その影響を測定します。これにより、モデル全体でどの特徴が最も重要かが分かります。

       

      部分依存プロット(Partial Dependence Plots, PDP)
      一つまたは二つの特徴がモデルの予測に与える平均的な影響を可視化します。これは、特定の特徴が目標変数に与える影響を理解するのに役立ちます。

       

      (2)シャープレイ値の事例: 信用スコアリング

      ある銀行が、顧客のクレジットスコアを予測するために機械学習モデルを使用しています。モデルは、顧客の年収、職歴、支払い履歴、現在の債務、信用履歴の長さなどの特徴を考慮して、クレジットスコアを計算します。シャープレイ値は、各特徴が顧客のクレジットスコア予測にどの程度寄与しているかを定量的に評価するために使われます。

       

      個々の特徴の寄与
      たとえば、ある顧客のクレジットスコア予測において、年収が高く、支払い履歴が良好な場合、これらの特徴のシャープレイ値は高くなります。逆に、顧客が高い債務を抱えている場合、この特徴のシャープレイ値は負の値になる可能性があり、スコアに悪影響を与えていることを示します。

       

      合計寄与
      すべての特徴のシャープレイ値の合計は、最終的なクレジットスコア予測と一致します。これにより、どの特徴が予測に最も影響を与えたか、または予測を引き下げたかが明確になります。

       

      公平性と透明性
      シャープレイ値を用いることで、予測プロセスの公平性と透明性が高まります。顧客は、自分のスコアがどのように決定されたかを理解でき、必要に応じて行動を変更することができます。

       

      シャープレイ値は、複雑なモデルの予測における各特徴の貢献度を公平かつ客観的に評価する強力なツールです。クレジットスコアリングの事例では、各特徴がスコアに与える影響を明確にし、顧客に対する説明責任を果たすのに役立ちます。

       

      (3)カウンターファクチュアル説明の事例: ローン申請の承認

      ある銀行が、機械学習モデルを用いて個人ローンの申請を評価しています。このモデルは、申請者の年収、雇用状況、クレジットスコア、過去のローン履歴、他の債務などの情報を基に、ローンを承認するかどうかを決定します。申請者がローンの承認を受けられなかった場合、カウンターファクチュアル説明は、「何が違っていれば承認されたか」を示します。

      • 承認されなかった理由の特定:例えば、ある申請者がローンを承認されなかった場合、カウンターファクチュアル説明は、もし年収がさらに2万ドル高かったら、または別の債務が5千ドル少なかったら承認されたであろうという情報を提供するかもしれません。
      • 行動の指針:この説明により、申請者はローン承認の可能性を高めるために、具体的にどのような改善が必要かを理解できます。例えば、より高い収入を得るためにキャリアを進める、または他の債務を返済するなどです。
      • 透明性と信頼性の向上:カウンターファクチュアル説明は、モデルの意思決定プロセスをより透明にし、申請者に対してその理由を明確に伝えることで信頼性を高めます。

       

      カウンターファクチュアル説明は、特定のアウトカム(結果)を得るためには何が異なる必要があるかを示します。ローン申請の事例では、申請者が承認されなかった理由を理解し、将来的に承認されるために何を改善すべきかの具体的な指針を提供します。

       

      (4)LIMEの事例: 病気の診断予測

      医療研究機関が、患者の臨床データ(年齢、性別、血液検査の結果、症状など)を使用して、特定の病気(例えば、糖尿病)の診断を予測するために複雑な機械学習モデル(例えば、ランダムフォレスト)を開発しました。LIMEは、モデルが特定の患者に対して「糖尿病」と診断した理由を明らかにするために使用されます。

      • 個別の予測の解釈:LIMEは、ある患者のデータに対するモデルの予測を取り上げ、その予測に最も影響を与えた特徴を特定します。例えば、モデルがある患者を糖尿病と診断した場合、LIMEはその診断に対して血糖値、BMI、年齢がどのように影響したかを示します。
      • 局所的なモデルの構築:LIMEは、元の複雑なモデルの周辺の局所的な領域において、単純なモデル(例えば、線形モデル)を構築します。この単純なモデルは、元のモデルの予測を近似しますが、解釈が容易です。
      • 透明性の提供:このアプローチにより、医師はモデルの予測に対してより深い洞察を得ることができ、患者に対してその診断の根拠を明確に説明できます。

       

      LIMEは、特定のケースに対する複雑なモデルの予測を局所的に解釈する手法です。この事例では、LIMEは医師が機械学習モデルによる診断の根拠を理解し、患者に対してその根拠を説明するのに役立ちます。

       

      (5)順列特徴重要度の事例: オンライン広告のクリックスルーレート(CTR)予測

      オンライン広告企業が、ユーザーの属性(年齢、性別、趣味、過去のクリック履歴など)を基に、特定の広告に対するクリックスルーレート(CTR)を予測する機械学習モデルを開発しました。順列特徴重要度は、予測モデルにおける各特徴の相対的な重要性を評価するために使われます。

      • 特徴のランダム化:例えば、モデルの予測精度を測定した後で、「年齢」特徴の値をランダムに順列(並び替え)します。この変更により、年齢とCTRの関連性が無効になります。
      • 予測精度の変化の評価:年齢の値を順列した後、モデルの予測精度を再度測定します。もし精度が大幅に低下する場合、これは年齢がCTR予測にとって重要な特徴であることを示します。
      • 特徴の重要度の比較:同様のプロセスを他の特徴(性別、趣味、過去のクリック履歴など)に対しても行い、各特徴の重要度を比較します。これにより、CTR予測に最も影響を与える特徴が明らかになります。

       

      順列特徴重要度は、モデルの予測において各特徴がどれだけ重要かを定量的に評価する手法です。この事例では、広告企業は順列特徴重要度を用いて、CTR予測に影響を与える主要なユーザー属性を特定し、効果的な広告戦略を策定するための洞察を得ることができます。

       

      (6)部分依存プロットの事例: 不動産価格の予測

      不動産会社が、家の特徴(面積、立地、築年数、部屋の数など)を基に、不動産の価格を予測する機械学習モデルを開発しました。部分依存プロットは、特定の特徴が目標変数(この場合は不動産価格)に与える平均的な影響を可視化するために使われます。

      • 特徴の選択:例えば、「面積」を選択し、この特徴が不動産価格にどのように影響を与えるかを分析します。
      • 価格への影響の可視化:部分依存プロットでは、面積のさまざまな値に対して、平均的な不動産価格がどのように変化するかをプロットします。このプロットは、面積が増加するにつれて、価格がどのように変化するかを示します。
      • インサイトの抽出:部分依存プロットから、面積が特定の範囲内で価格に大きな影響を与えること、または価格への影響が面積の増加に伴って減少または増加する可能性があることなど、具体的なインサイトを得ることができます。

       

      部分依存プロット(PDP)は、モデルの予測において特定の特徴がどのような影響を与えるかを視覚的に理解するのに役立ちます。この事例では、不動産会社はPDPを用いて、家の価格に最も影響を与える特徴を理解し、価格設定やマーケティング戦略を策定するための洞察を得ることができます。

       

      (7)事後的解釈性手法の課題と限界

      事後的解釈性手法は、複雑な機械学習モデルの理解を深める上で非常に有用ですが、これらの手法には限界があります。提供される解釈は、あくまで近似的であり、モデルの実際の動作を完全に代表するものではない可能性があることを理解することが重要です。そのため、これらの解釈を利用する際には、それらの限界と文脈を考慮に入れる必要があります。

      ① 真の基準説明の不確実性

      解釈の相対性
      事後的解釈性手法は、モデルの動作を完全に代表するものではない可能性があります。これらの手法は、モデルの複雑な動作を単純化したり、近似することで解釈を提供します。結果として、これらの解釈は、実際のモデルの動作とは異なる場合があり、誤解を招く可能性があります。

      基準の欠如
      事後的解釈性手法には、その正確さを評価するための客観的な基準が欠けていることが多いです。このため、提供される解釈が「正しい」かどうかを判断することが困難です。 

       

      ② 解釈の正確性に関する問題

      複雑なモデルの課題
      特に深層学習モデルのように内部構造が複雑なモデルでは、単純な解釈がモデルの実際の動作を正確に捉えていない可能性があります。

      文脈の欠如
      事後的解釈は、モデルが訓練された特定のデータセットや状況に依存しています。異なるデータや状況では、同じモデルでも異なる解釈が得られることがあります。

       

      2. ケーススタディ

      実務では、特定の機械学習モデルだけを使うわけではありませんし、解釈するための手法も複合的に利用します。ここで幾つかの事例を紹介し、どのように複合的に利用し実務に活かしたのかを紹介します。

      (1)事例1: ヘルスケア業界における患者リスク予測

      ある医療機関で、患者が将来的に再入院するリスクを予測するために機械学習モデルを使用していました。この予測結果を使い、患者の健康状態を管理し、再入院を防ぐための介入を計画するの利用していました。機械学習モデルを使用し患者の再入院リスクを予測するだけでなく、機械学習モデルに対し解釈手法を使うことで、リスクを減らすための具体的なプランを立てられるようになりました。さらに、医療提供者は患者個々の状況に合わせた治療計画や予防策をより効果的に策定することが可能になりました。

      ① モデル

      • 使用されるモデル: この事例では、決定木やランダムフォレストなどのモデルが使用されます。これらのモデルは、非線形の関係や複雑な相互作用を捉える能力があるため、医療データの分析に適しています。
      • 考慮される特徴: モデルは患者の年齢、性別、詳細な医療歴(過去の病気や治療)、ライフスタイル(喫煙、運動習慣など)、最近の検査結果(血液検査、画像診断など)など、多様なデータを考慮して再入院リスクを予測します。

       

      ② 解釈

      • 順列特徴重要度: この手法を使用して、予測に最も影響を与える特徴を特定します。たとえば、特定の検査結果や年齢が再入院リスクに大きな影響を与えていることが明らかになるかもしれません。
      • 部分依存プロット(PDP): このプロットは、特定の特徴(例えば、血糖値や血圧)がリスク予測にどのような影響を与えるかを視覚化し、医師がより詳細な理解を得るのに役立ちます。
      • カウンターファクチュアル説明: この手法を用いて、患者が特定の行動を変更した場合(例えば、運動の増加や食生活の改善)にリスクがどのように変化するかを特定します。これにより、患者に対する具体的なライフスタイルの変更提案が可能になります。

       

      (2)事例2: 金融業界におけるクレジットスコアリング

      この銀行は顧客の信用リスクを評価するために、クレジットスコアを予測する複雑な機械学習モデルを使用しています。このスコアは、ローンの承認、クレジットカードの限度額、利息率など、金融サービスの提供条件を決定する際に重要な判断材料の1つです。このクレジットスコアリングモデルに対し、LIMEを使用することで、複雑な深層学習モデルによる予測の解釈が可能になります。これにより、銀行は顧客に対して信用評価の根拠を透明に説明できるようになりました

      ① モデル

      • 使用されるモデル: この事例では、深層学習モデルが使用されます。この種のモデルは非常に複雑で、多層のニューラルネットワークを通じて入力データの複雑なパターンを学習します。
      • 考慮される特徴: モデルは、顧客の収入、雇用状況、支払い履歴、現在の債務、信用履歴の長さなど、多様な金融および個人情報を考慮してクレジットスコアを予測します。

       

      ② 解釈

      • LIMEの使用: 深層学習モデルは本質的に解釈が難しいため、LIME(Local Interpretable Model-Agnostic Explanations)が使用されます。LIMEは、個々の顧客のクレジットスコア予測に最も影響を与えた特徴を特定し、顧客や銀行の担当者にその理由を説明します。
      • 個々の予測の解釈: たとえば、ある顧客が低いクレジットスコアを受けた場合、LIMEはその予測に最も影響を与えた要因(例えば、不安定な雇用状況や過去の遅延支払い)を明らかにします。
      • 透明性の向上: このアプローチにより、顧客は自分のクレジットスコアがどのように決定されたかを理解し、必要に応じて信用状況を改善するための行動を取ることができます。

       

      (3)事例3: 小売業界における在庫管理

      ある小売業者で、効率的な在庫管理と需要に合わせた商品供給を実現するために、在庫の需要予測に機械学習モデルを利用していました。正確な需要予測は、過剰在庫や品切れを防ぎ、コスト削減と顧客満足度の向上に寄与します。機械学習モデルを用いた需要予測とシャープレイ値による解釈を通じて、在庫戦略をより効果的に調整し、需要に応じた商品供給を最適化することができました。これにより、コスト削減、顧客満足度の向上、そして収益性が向上しました。

      ① モデル

      • 使用されるモデル: 時系列予測モデルやランダムフォレストなどのモデルが使用されます。これらのモデルは、過去の販売データや季節性、プロモーション活動、市場のトレンドなど、複数の要因を考慮して将来の在庫需要を予測します。
      • 考慮される特徴: 予測には、季節や祝日に関連するデータ、特定のプロモーションや割引キャンペーンの影響、気象条件、経済的な指標などが考慮されます。

       

      ② 解釈

      • シャプリー値の使用: シャプリー値は、予測において各特徴がどれだけ貢献しているかを定量的に評価するために使われます。これにより、小売業者は在庫需要予測に最も大きな影響を与える要因を特定できます。
      • 戦略の調整: 例えば、シャプリー値に基づいて、特定のプロモーションが特定の商品の需要に大きく影響していることがわかれば、小売業者はその商品の在庫を増やすなどの戦略を取ることができます。
      • 意思決定への応用: また、季節性の影響が大きいことが明らかになれば、季節に応じた在庫の調整やプロモーションの計画が行われます。

       

      関連解説記事:データサイエンスとは?データサイエンティストの役割は?必要なツールも紹介

       

       ▼さらに深く学ぶなら!
      「データ分析」に関するセミナーはこちら!

         続きを読むには・・・


      この記事の著者

      高橋 威知郎

      データネクロマンサー/データ分析・活用コンサルタント (埋もれたデータに花を咲かせる、データ分析界の花咲じじい。それほど年齢は重ねてないけど)

      データネクロマンサー/データ分析・活用コンサルタント (埋もれたデータに花を咲かせる、データ分析界の花咲じじい。それほど年齢は重ねてないけど)


      「情報マネジメント一般」の他のキーワード解説記事

      もっと見る
      顧客特性を使いこなしデータ活用 データ分析講座(その237)

        15年以上前の顧客データ分析は、性別や年代、居住地などの顧客のハードな特性を活用したものが多い印象があります。マーケティングの世界のペ...

        15年以上前の顧客データ分析は、性別や年代、居住地などの顧客のハードな特性を活用したものが多い印象があります。マーケティングの世界のペ...


      点過程データと時系列データ データ分析講座(その266)

        時系列(time series)データと混同されやすいデータに点過程(point process)データがあります。点過程時系列データ...

        時系列(time series)データと混同されやすいデータに点過程(point process)データがあります。点過程時系列データ...


      データによる仮説検証の3段階アプローチ データ分析講座(その248)

        仮説を立てて、データで検証する場合、既にある過去データで検証する方法と、これから新たにデータ取得し検証する方法があります。さらに、これ...

        仮説を立てて、データで検証する場合、既にある過去データで検証する方法と、これから新たにデータ取得し検証する方法があります。さらに、これ...


      「情報マネジメント一般」の活用事例

      もっと見る
      ‐販路開拓に関する問題 第1回‐  製品・技術開発力強化策の事例(その17)

       前回の事例その16に続いて解説します。開発が完了したから販売先を探す。そのような考え方で開発に従事することは根本的に間違っている事は既に述べました。開発...

       前回の事例その16に続いて解説します。開発が完了したから販売先を探す。そのような考え方で開発に従事することは根本的に間違っている事は既に述べました。開発...


      既存コア技術強化のためのオープン・イノベーション:富士フイルムの例

       2015年7月20日号の日経ビジネスに、富士フイルムの特集が掲載されました。富士フイルムは、既存コア技術強化のためにオープン・イノベーションを果敢に...

       2015年7月20日号の日経ビジネスに、富士フイルムの特集が掲載されました。富士フイルムは、既存コア技術強化のためにオープン・イノベーションを果敢に...


      ‐情報収集で配慮すべき事項(第2回)‐  製品・技術開発力強化策の事例(その10)

       前回の事例その9に続いて解説します。ある目的で情報収集を開始する時には、始めに開発方針を明らかにして、目的意識を持って行動する必要があります。目的を明確...

       前回の事例その9に続いて解説します。ある目的で情報収集を開始する時には、始めに開発方針を明らかにして、目的意識を持って行動する必要があります。目的を明確...