スモールデータとビッグデータの違いとは

更新日

投稿日

 

情報マネジメント

 ビッグデータの活用と声高に叫ばれています。無論、自動的にビッグデータが取れれば多いに越したことはありませんが、スモールデータでも十分に検証できます。

 私は顧客アンケート調査の設計から実査、分析までを頻繁に行っていますが、今回は最適な回収データ数について解説します。

 よく、データを何人取ったら有効でしょうか?と質問を受けます。データはたくさん取った方がいいなど、いろいろな意見が飛び交いますが。データ数50人よりデータ数100人。三桁のデータを扱うことを目標にしましょう。特に根拠はありませんが、調査データが 50人よりは 100人の方がよさそうです。

 100人と200人となると、多い方がいいですが、人数が多くなるとそのための工数や費用が掛かります。そこで、統計解析には誤差を推定することが可能です。この考え方から必要なデータ数を考えて見ましょう。

 統計学の中に少ないデータで全体を推定することができます。その時の前提としては

  • データが少ないと全体の誤差が大きい。
  • データが多いと全体の誤差は少ない。

 ではどの程度でしょうか。比率の誤差は簡便法で 1/ √nで推定できるのです。

 100人の比率の誤差は 最大 10%、400人の比率の誤差は最大 5%、1万人の比率の誤差は最大 1%になります。

 例としてアンケート調査等で回答の比率の結果:男性 50%と結果が出ました。

 その時、100人の場合は ± 10%、400人の場合は ± 5%、1万人の場合は ± 1%。

 100人ですと、± 10%も誤差があるので、問題が出てきます。400人ですと、± 5%の誤差なので、統計でよく使う95%の許容範囲に入ってきます。

 また、アンケート調査の段階評価や得点評価において平均値を使うことも多いでしょう。

 平均値の誤差は、簡便法で 2/ √nで推定できます。

 100人の場合、誤差は ± 0.2点、400人の場合、誤差は ± 0.1点、1万人の場合、誤差は ± 0.02点になります。

 400人ですと、平均値 3.5点の結果は全体では 3.4点 ~ 3.6点 にあることが推...

 

情報マネジメント

 ビッグデータの活用と声高に叫ばれています。無論、自動的にビッグデータが取れれば多いに越したことはありませんが、スモールデータでも十分に検証できます。

 私は顧客アンケート調査の設計から実査、分析までを頻繁に行っていますが、今回は最適な回収データ数について解説します。

 よく、データを何人取ったら有効でしょうか?と質問を受けます。データはたくさん取った方がいいなど、いろいろな意見が飛び交いますが。データ数50人よりデータ数100人。三桁のデータを扱うことを目標にしましょう。特に根拠はありませんが、調査データが 50人よりは 100人の方がよさそうです。

 100人と200人となると、多い方がいいですが、人数が多くなるとそのための工数や費用が掛かります。そこで、統計解析には誤差を推定することが可能です。この考え方から必要なデータ数を考えて見ましょう。

 統計学の中に少ないデータで全体を推定することができます。その時の前提としては

  • データが少ないと全体の誤差が大きい。
  • データが多いと全体の誤差は少ない。

 ではどの程度でしょうか。比率の誤差は簡便法で 1/ √nで推定できるのです。

 100人の比率の誤差は 最大 10%、400人の比率の誤差は最大 5%、1万人の比率の誤差は最大 1%になります。

 例としてアンケート調査等で回答の比率の結果:男性 50%と結果が出ました。

 その時、100人の場合は ± 10%、400人の場合は ± 5%、1万人の場合は ± 1%。

 100人ですと、± 10%も誤差があるので、問題が出てきます。400人ですと、± 5%の誤差なので、統計でよく使う95%の許容範囲に入ってきます。

 また、アンケート調査の段階評価や得点評価において平均値を使うことも多いでしょう。

 平均値の誤差は、簡便法で 2/ √nで推定できます。

 100人の場合、誤差は ± 0.2点、400人の場合、誤差は ± 0.1点、1万人の場合、誤差は ± 0.02点になります。

 400人ですと、平均値 3.5点の結果は全体では 3.4点 ~ 3.6点 にあることが推定できます。

 一方費用の観点で見ると、400人と1万人で人数は 25倍にも関わらず。精度は 5倍しか上がりません。となると、闇雲にデータをたくさん取ると、費用対精度で大きく差が開いてきます。これらの観点で、私はアンケート調査で最適回収データ数は 500人と伝えます。

 

   続きを読むには・・・


この記事の著者

石川 朋雄

日本のものづくりは品質向上に切磋琢磨し,高品質な商品を開発しました。高品質商品と顧客価値創造を融合する商品企画のシステム化を提案します。

日本のものづくりは品質向上に切磋琢磨し,高品質な商品を開発しました。高品質商品と顧客価値創造を融合する商品企画のシステム化を提案します。


「情報マネジメント一般」の他のキーワード解説記事

もっと見る
DXを阻む「鉛筆を舐めておけ文化」 データ分析講座(その231)

  【この連載の前回:データ分析講座(その230)DXという見栄の代償へのリンク】 ◆関連解説『情報マネジメントとは』   ...

  【この連載の前回:データ分析講座(その230)DXという見栄の代償へのリンク】 ◆関連解説『情報マネジメントとは』   ...


データ活用の勘所 データ分析講座(その25)

  ◆ Excelレベルの分析をものにしたとき、データ活用の世界は変わる  多くの企業は、ビッグデータを使いこなし活用しているのではなく...

  ◆ Excelレベルの分析をものにしたとき、データ活用の世界は変わる  多くの企業は、ビッグデータを使いこなし活用しているのではなく...


サイバー攻撃事例、情報システムとの違い 制御システム(その2)

  【制御システム 連載目次】 1. セキュリティ脅威と歴史 2. サイバー攻撃事例、情報システムとの違い 3. リスク分析とセキュ...

  【制御システム 連載目次】 1. セキュリティ脅威と歴史 2. サイバー攻撃事例、情報システムとの違い 3. リスク分析とセキュ...


「情報マネジメント一般」の活用事例

もっと見る
ソーシャルメディアデータの解析事例:異分野研究から得られる共通した目的とは

 2020年、コロナウィルス感染の問題が大きくなり始めた頃、少人数の開催ということで、ソーシャルメディアデータ解析を専門にされている先生の講演会を聞く...

 2020年、コロナウィルス感染の問題が大きくなり始めた頃、少人数の開催ということで、ソーシャルメディアデータ解析を専門にされている先生の講演会を聞く...


ソフトウェア特許とは(その1)

 色々と定義はありますが、ソフトウェア特許とは、よく言うビジネスモデル特許であり、情報システムの特許です。言葉に差はあると思いますが、我々実務家は、ソフト...

 色々と定義はありますが、ソフトウェア特許とは、よく言うビジネスモデル特許であり、情報システムの特許です。言葉に差はあると思いますが、我々実務家は、ソフト...


デジタルデータの保存とは

        今回は、地震災害等を想定して、デジタルデータの保存に焦点を当てて、主なバックアップ方法と長所...

        今回は、地震災害等を想定して、デジタルデータの保存に焦点を当てて、主なバックアップ方法と長所...