近年のビジネスでは、データ活用が重要視されています。
「ビッグデータ」という言葉は頻繁に耳にするようになり、AIなどのテクノロジーと組み合わせて活用されています。一方で「スモールデータ」という、取り扱いしやすい有用なデータも存在します。
「ビッグデータ」活用が求められるこの時代に、「スモールデータ」活用も注目を集めています。「スモールデータ」とはどのようなデータなのでしょうか。どのように活用すれば、どのような効果が見込めるものなのでしょうか。今回は「ビッグデータとスモールデータ」について解説します。
まずは「ビッグデータ」についておさらいしましょう。
「ビッグデータ」とは、従来のデータベース管理システムなどでは記録や解析が難しいような巨大なデータ群のことで、特に明確な定義がある訳ではありません。
名称からデータ量をイメージしがちですが、「様々な形をした、様々な性格を持った、様々な種類のデータのこと」を指します。
総務省「情報流通・蓄積量の計測手法の検討に係る調査研究」の中には、ビッグデータに関して以下のような記載があります。
以下、引用。
（１）ビッグデータの流通・蓄積量の増加及びデータ解析技術による発展等による“生産性向上”や“資本蓄積・投資増”が直接的な成長ドライバーとして機能する。また、データ関連ビジネスの創出による雇用創出も期待される。
（２）加えて、投資活動と生産性向上が有機的に結び付き、投資収益率が向上することで、両者間のフィードバック効果が働き、当該効果が成長への間接的なパスとして機能する。
このように「ビッグデータ」は、非常に注目を集めており、ビジネスシーンでも活用が進んでいます。
最近よく目にするビッグデータ活用としては、携帯の位置情報データから人々の特定拠点での移動状況を分析したものなどがあります。その他AIの機械学習のために、大量のデータを学習させるなどのケースも、よく耳にしていると思います。
ビッグデータの詳細な解説は、こちらの記事もご確認ください。
一方で「スモールデータ」は、アクセスが容易で取り扱いしやすい形式の、有意義な洞察が可能なデータとされています。ビッグデータの特定のレコードだけを取り出したようなものもスモールデータとして取り扱われるので、元来のデータサイズではなく利用する時点のデータサイズが基準となります。
また、有意義な洞察が可能なデータとされているのは、データ量が少ないがゆえに付随する情報を掛け合わせる場合があるためです。少ない情報に対して、どのようなデータを掛け合わせることで、どのような結果が抽出できるかを検討する場合があるのです。
その掛け合わせるデータは、分析結果で何を示したいかによって用いるデータが異なります。例えば、店舗の売り上げデータに対して、天気や気温のデータを掛け合わせれば、天候や気温の変化に応じた売れ筋商品の傾向が見えてきます。前年同月のデータと掛け合わせれば、今年のトレンドが見えてきます。このように、どのような結果を導き出すために、どのようなデータを掛け合わせるかに、洞察力が求められるのです。
一般的に「スモールデータ」は、データの傾向やパターン、パーソナライズのためのルールを把握するためのサンプルデータなどに活用されています。
スモールデータと同様にビッグデータでは補えないデータの捉え方「Thick Data（濃密データ）」の重要性の詳細な解説は、こちらの記事もご確認ください。
では「スモールデータ」は、どのように利用されるのでしょうか。
映画マネーボールで、「スモールデータの活用法」が描かれています。
映画マネーボールは、米国メジャーリーグ球団のオークランド・アスレチックスでゼネラルマネージャーを務めたビリー･ビーン氏が、「セイバーメトリクス」と呼ばれる統計学的手法を用いて、弱小チームからプレーオフ常連の強豪チームへ成長させた伝説的な事例を描いた映画です。
「セイバーメトリクス」とは、野球における選手成績、試合の結果、球場のスペックなどの各種データを統計学的に分析するもの。選手の能力、チームの強さなどを数値化して分析し、チーム経営や戦略に役立てる手法や考え方のことです。
常に下位にランクしていたチームを、どのように強豪チームへと導いたのでしょうか。
活用したのは「セイバーメトリクス」による、戦力の再構築でした。
一般的に野球で攻撃力を判断する指標としては、「打率」・「打点」を使用します。しかし、あえてこの指標を使用せずに、アウトにならない率「出塁率」を重視しました。「打率」・「打点」が高い選手は、獲得にも高額な費用が必要です。しかし打率が多少低くても出塁率の高さを優先すれば、安価にチームに適した選手を獲得できるのです。
また投手においては「セーブ」の数値を活用しました。速球派の投手をクローザーに仕立ててセーブを多く作り出し、セーブを高く評価する他球団とトレードして、チームが必要としている有望な選手を獲得するという活用法です。このようにチーム内に存在する「スモールデータ」を活用して、戦略的にチームに必要な選手を獲得することでチーム経営に役立て、最終的にはプレーオフ常連の強豪チームを作り上げたのです。
このように、実際に映画になるような活用事例のある「スモールデータ」ですが、ビッグデータ時代に重要性が語られる理由はどこにあるのでしょうか。
ビッグデータ時代を牽引し、ビッグデータでビジネスを巨大化させてきた企業の代表格といえばGAFAが有名です。プラットフォーマービジネスは、利用者のビッグデータを活用して様々なサービスを展開し、成長を続けています。
もちろんビッグデータは、GAFAの著しい成長のバッグボーンとなっています。
しかし、ビッグデータにも限界はあるのです。
近年のビジネスでは、すべてロジカルな思考でストーリーを語りつくすのは難しい時代となっています。コロナ禍のような、これまで経験のないような対応を強いられることもあり、そのような場合には、データによる根拠よりも、人間味のあるストーリーで語られたほうが説得力を感じられる場合もあります。
ビッグデータの根幹は、因果関係ではなく相関関係にあります。統計的に価値ある数値を提示できますが、なぜそうなるのかという「理由」が説明できません。昨今ビジネスシーンで「センスメイキング」という考え方が注目されている背景には、この要因があります。
ビッグデータ解析によりデータが巨大化する中、統計的に有意な相関関係を誤認するリスクも高まっているのです。ビッグデータ解析から導き出した分析結果が提示できたとしても、その背景に何があるかはデータだけでは説明が難しいケースがあるのです。
例えば、日本における新型コロナウイルス感染者の第5波が急に収束に向かった要因は、ビッグデータ分析だけでは説明されていないのです。
また、過去にGoogleがインフルエンザの流行を、検索データを使ってアメリカ疾病予防管理センター（CDC）よりも早く予測できるという仮説を立てたことがありました。しかし2009年の新型インフルエンザ（H1N1）の世界的大流行を見逃し、さらに2012年から2013年にかけて流行したインフルエンザは、流行していない時点で警報を連発する過剰予測となったのです。
実際に「インフルエンザ」という言葉が検索されたとしても、必ずしも検索者が感染して検索しているとは限りません。流行の予測ができなかった要因は、これだけでなく様々な要因が考えられますが、結果的に検索キーワードのビッグデータ分析だけではインフルエンザの流行予測は難しかったとされているのです。
ビッグデータにも限界がある場合に、スモールデータはどのようにビッグデータを補完することができるのでしょうか。スモールデータを活用すべき理由に、どのようなものがあるのか、その理由をいくつか紹介しましょう。
ビッグデータを取り扱うためには、データアナリストなどの専門家の知識やハイスペックなサーバーなどの高度なIT機器も必要となります。一方でスモールデータは、ある程度のデータ分析の知識があれば対応可能で、一般的なデータ分析ツール（BIツール）などで容易に扱うことができます。
ビッグデータ解析は専門家に依頼する必要があり、それ相応のコストと時間が必要です。しかしスモールデータは、知識さえあれば自分自身で扱うことができます。また解析時間も、通常のパソコンやBIツールなどで出来る程度なので、ビッグデータに比べて時間もかかりません。
スモールデータ分析では、データ量が少ないがゆえに付随する情報を掛け合わせる場合があります。店舗での売り上げデータで考えれば、一般的にはPOSデータに含まれる「購入日時、年齢、性別、同時購入商品」というようなデータを使用することになります。しかしスモールデータ分析の場合は、特定の商品購入者の購入時の様子などのデジタルデータには残っていない情報も加味して分析する場合があるのです。
購入者は、どのようなシチュエーションでどのような方と来店したのか、商品を選んでいる際の様子はどのような感じだったのか、ご自身で使うための購入の様子だったのかプレゼントだったのか、プレゼントであればお相手はどのような方がイメージできるのかなど、POSデータには残らない情報を活用することがあります。
このような付随する情報を加味することで、深い洞察が得られるようになるのです。
上記のようにビッグデータにも限界があり、スモールデータにはスモールデータの魅力があります。ただ、ビッグデータとスモールデータは、相反するものなのでしょうか。
実は、スモールデータとビッグデータは、補完し合う関係性があるのです。
ビッグデータは行動観察とビッグデータを相互補完することにより、より分析結果を強化することができるのです。
例えば、飲食チェーン店での売上向上策を検討するケースです。まずは特定の店舗で、来店客数を増やすための施策を「行動観察」の視点から考えます。その施策を実行した場合に、どの程度売上向上に結び付くかは「データ分析」で検証します。
また、効率的な営業手法を見出すようなケースでは、手順が逆転します。
まずは成績優秀な営業マンの行動ルートや活用時間などを「データ分析」します。その行動パターンをマニュアル化することで、効率的な営業手法を全社的に周知します。そのマニュアルによる営業手法を取り入れた後で、実際の営業マンの利用状況やお客様の声などを「行動観察」により検証し、効果の出せる営業手法を編み出せるのです。
これまで「スモールデータ」に関する概念を紹介してきました。
映画マネーボールでの活用事例にも軽く触れましたが、その他のビジネスシーンではどのように使われているのでしょうか。いくつかの例を紹介します。
医療分野においてスモールデータは、発生がまれだったり収集が難しかったりする病気の診断や医療機器の開発などに活用が進んでいます。
例えば「てんかん」は、患者の7割は薬の服用で発作を予防できるものの、残る3割は薬が効きにくいとされています。治療に関して、心拍の異常に着目すべきことは医学的に分かっていますが、データのどこに着目すべきなのか、似た他の病気とどう見分けるのかなどは、専門の医師でないと分かりません。そこで、専門医師とデータ分析者の緊密なコミュニケーションによって分析が進められています。
このような専門知識を活用した緻密な分析は日本人の得意とする分野であるため、日本の成長分野としても注目すべきという論文もでています。
一般的に電力需要予測の研究は、ニューラルネットワークを用いた予測方式や重回帰分析を用いた予測方式があり、電力会社が活用しています。しかしこれらの研究は、電力会社の予測精度向上が主目的であるために、ビッグデータを保持していないオフィスビルでは適用が困難でした。
そこで、過去１～２か月の学習データを使った重回帰分析で、オフィスビルの電力需要予測の研究も進められています。
最後は統計学に関するケースです。
ベイズ統計は主観確率を扱う統計学で、データが不十分でも”ある事態が発生する確率”を最初に設定した後、さらなる情報が得られる度に”ある事態が発生する確率”を更新していき、発生するであろう事象の確率を導き出す手法です。
ビッグデータ分析でも活用されるベイズ統計ですが、理論や知見、経験則などを事前情報として取り入れることで、少量データでも推測が可能となります。
このようにスモールデータは、これまでの経験則だけでは判断が難しいような現代のビジネスシーンで、深い洞察力を持ってデータ分析を行うために注目されています。どのような視点で、どのようなデータと掛け合わせて、どのような分析結果を導き出すかなど、データ分析の知識だけでなく、幅広い社会科学・人文学的な知識も必要となります。しかし、そのような深い洞察力をもって分析されたデータは説得力を持ち、チームメンバーやステークホルダーを説得するパワーを持った分析結果となるのです。
そのような、説得力を持ちメンバーやステークホルダーを「腹落ち」させるストーリーテリングを完成させる思考に「センスメイキング」というものがあります。スモールデータは、そのような「センスメイキング」思考が重要となりますので、ぜひこちらの記事で「センスメイキング」についても、ご確認ください。
「ビッグデータ」とは、文字通りデータ量が膨大なデータで、データアナリストなど専門知識を有する人材がハイスペックなIT機器を活用して解析します。一方で「スモールデータ」は、アクセスが容易で取り扱いしやすい形式の、有意義な洞察が可能なデータです。ある程度のデータ解析の知識があれば、パソコンやBIツールなどで簡単に分析できるため、安価にスピーディーな解析が可能となります。
またスモールデータ分析は、深い洞察が得られるようになると言われています。
「スモールデータ」はデータ量が少ないがゆえに、付随する情報を掛け合わせる場合があります。どのような情報を掛け合わせることで、どのような結果が抽出できるかを検討するため、洞察力のある説得力の高い分析結果が得られるということです。
そのように、データ分析に深い洞察力をもたらすという意味からも、「スモールデータ」は「ビッグデータ」を補完する役割として、その価値が認められているのです。
【参考資料】
メルマガ登録をしていただくと、記事やイベントなどの最新情報をお届けいたします。
30秒で理解！インフォグラフィックや動画で解説！フォローして『1日1記事』インプットしよう！
メール会員でできること
