About us データのじかんとは？
About us データのじかんとは？
INDEX
「ビッグデータ」という言葉をよく耳にするようになりました。ビッグデータの重要性だったり、ビッグデータで世界が変わる、と言ったなんだかちょっと大げさ話だったり、グーグルがビッグデータ解析フォームにイーサリアムを追加した話だったり、なんだかよくわからないけれど、とりあえず集めなきゃいけないと思っている話だったり、ビッグデータで人の本性がわかる、という話だったり、始まったと思っていたらもうすでにビッグデータ時代の終焉、という言葉も出現していたり。
しかし、「そもそもビッグデータとは何ですか？わかりやすく説明してください」と改めて聞かれると、答えに窮する人も多いのではないかと思います。そこで今回は、ビッグデータの定義から活用例までご紹介します。
参照：事例から考えるデータ至上主義時代の データとテクノロジーへの向き合い方,野島光太郎
ビッグデータというと、つい大量のデータのことを思い浮かべてしまいますが、それだけを意味しているわけではありません。
ビッグデータとは、「様々な形をした、様々な性格を持った、様々な種類のデータのこと※1」を指します。実はビッグデータは、データの量（Volume）、データの種類（Variety）、データの発生頻度・更新頻度（Velocity）の3つのVからなり、いずれも重要な要素です※2。
しかし、時代のニーズやデータ活用の難しさを考慮すると、これらの3Vだけでは十分ではありません。近年、ビッグデータの特徴は5Vとして拡大されており、データの真実性（Veracity）やデータの価値（Value）も重要な要素として加わっています。真実性は、データの信頼性や品質を指し、不正確なデータやノイズが多いデータは、分析の結果を歪める可能性があるため、真実性が重要です。価値は、ビッグデータそのものの価値ではなく、それをどのように解析・活用するかで得られるインサイトや知見の価値を指します。
IT用語辞典では、ビッグデータは下記のように定義されています。
ビッグデータとは、従来のデータベース管理システムなどでは記録や保管、解析が難しいような巨大なデータ群。明確な定義があるわけではなく、企業向け情報システムメーカーのマーケティング用語として多用されている。
多くの場合、ビッグデータとは単に量が多いだけでなく、様々な種類・形式が含まれる非構造化データ・非定型的データであり、さらに、日々膨大に生成・記録される時系列性・リアルタイム性のあるようなものを指すことが多い。今までは管理しきれないため見過ごされてきたそのようなデータ群を記録・保管して即座に解析することで、ビジネスや社会に有用な知見を得たり、これまでにないような新たな仕組みやシステムを産み出す可能性が高まるとされている。
ビッグデータの定義がわかったところで、今度はビッグデータの分析方法を見ていきましょう。例えば、あなたが新しいビールを売り出したいと考えたとします。
あなたが（1）特約店別の出荷情報と（2）今年は晴れる日が多いかどうか、のビッグデータを持っている場合、（1）から「地域別の売上」を把握することができますが、（2）から「その地域の天気は悪い日が多い」ということがわかる場合は、天気の悪そうなエリアを避けたマーケティング戦略を練ることができます。（1）と（2）のビッグデータを使って「ではどこで売れるのか」というビジネス拡大の課題のヒントを得ることができるのです。どこで売れるのかが分かれば、そこに広告費を集中投下するというマーケティングの意思決定をすることができ、その分得られる利益も変わってきます。
なおビックデータの対比としてよく耳にする「スモールデータ」とは、ビッグデータの特定のレコードだけを取り出し、扱いやすい形式にすることで有意義な洞察を可能にするデータなどです。
スモールデータについては、こちらの記事で解説していますので、併せてご確認下さい。
1988年、インターネットの黎明期において、ビッグデータという言葉や概念はまだ存在していませんでした。しかし、技術の進化とともに、情報の収集と分析の重要性が徐々に認識されるようになりました。2008年までに、Apple、Google、Facebook、Amazonなどのビッグテック企業が台頭し、彼らはデータを中心としたビジネスモデルで急速に成長を遂げました。これらの企業は、ユーザーの行動や嗜好をデータとして収集し、それをもとにサービスを最適化することで巨大な利益を上げることに成功しました。
2018年には、ビッグデータの活用はビッグテック企業だけでなく、多くの企業や業界で一般的となりました。ビッグテック企業は、その巨大なデータベースと先進的な分析技術を活用して、新しいサービスや製品を次々と生み出し、時価総額で世界のトップを争う企業となりました。平成30年間の間に、データは新しい「石油」とも称されるほどの価値を持つものとなりました。
ビッグテック企業の成功は、データの収集と分析の重要性を世界中の企業に示しました。彼らは、ユーザーのデータを基にしたパーソナライズされたサービスや、高度なAI技術を駆使した製品を提供することで、競争優位性を築き上げました。そして、それは平成の時代を通じて、データとテクノロジーがビジネスの中心となることを示す象徴的な出来事となりました。
この30年の間に、ビッグデータとビッグテックは、ビジネスのあり方や社会の構造を根本から変える力を持つことが証明されました。そして、これからの時代も、データの活用と技術の進化が、新しい価値を生み出し続けることでしょう。
ビックデータは「様々な形をした、様々な性格を持った、様々な種類のデータのこと」と前述で解説しましたが、具体的にどのようなデータを指すのでしょうか？総務省の平成2９年版の情報通信白書では、ビックデータを以下のように定義しています。
| 生成元 | 種類 | 説明 |
| 政府・行政 | オープンデータ | 『官民データ活用推進基本法』を踏まえ、政府や地方公共団体などが保有する公共情報 |
| 企業 | 知のデジタル化 | 農業やインフラ管理からビジネス等に至る産業や企業が持ちうるパーソナルデータ 以外のデータ |
| M2Mデータ | 工場等の生産現場におけるIoT機器から収集されるデータ、橋梁に設置されたIoT機器からのセンシングデータ（歪み、振動、通行車両の形式・重量など）等 | |
| 個人 | パーソナルデータ | 個人の属性情報、移動・行動・購買履歴、ウェアラブル機器から収集された個人情報など |
引用元：総務省 平成29年度版 情報通信白書「ビックデータの定義及び範囲」
さて、新しいビールを実際に発売しようと考えたとき、懸念点として存在するのは「在庫保有コスト」や「在庫切れ」などによる機会損失です。特にビールは季節による需要の変化が大きいため、精度の高い発注・生産計画が必要となります。
富士通は、ビッグデータを活用し、複数の需要予測のシナリオに基づき、一定期間先読みができるSCM（サプライチェーンマネジメント）向けのモデル予測制御技術を開発しました。これにより、リスクを抑えつつ長期的な利益を最大にする計画を立てることが可能になっています（参考記事）。このように、ビッグデータを使えば高度な意思決定も可能です。
ビッグデータが普及したのは、コンピューターやインターネットの急速な発達によるものが大きいですが、これまで「3つの流れ」によって発達してきました。第一の流れは「データのデジタル化とコンピューターの高速化」、第二の流れは「インターネットの発展」、そして第三の流れは「ビッグデータ時代のはじまり」です※3。
第三の流れに拍車を掛けたのが、「Hadoop（ハドゥープ）」と呼ばれる技術。これは、「大量のデータを手軽に複数のマシンに分散して処理できるオープンソースのプラットフォーム」のことです（参考記事）。これにより、ペタバイト（1ペタバイトは1テラバイトの1000倍）レベルの非構造化データ（メールや画像、動画などのデータ）の超高速処理が可能になりました。Hadoopの登場で、大量の情報を低コストで分析できるようになりました。
続いて、ビッグデータの活用例をみてみましょう！
ビックデータの活用範囲は非常に広く、
など多岐に渡ります。
それでは、実際にどのような場面でビッグデータが使われているのかをみてみましょう。
防犯カメラは膨大なビッグデータを集める手段として注目されています。かつては映像を記録するだけのものでしたが、現在では「手に取ってすぐ棚に戻したもの」「かごに入れたけれど棚に戻したもの」など、購入に至らなかった商品のデータ分析に使われています。
これらのデータは、顧客の行動データを解析することでさらなるマーケティングに役立てることが可能になるのです（参考記事）。
Nシステムは「自動車ナンバー自動読取装置」のこと。これは警察が設置した監視システムであり、走行中の車のナンバーをすべて読み取ると同時に、手配車両のナンバーと照合します。このシステムは犯罪捜査だけではなく、渋滞の予測やドライバーへの警告などにも利用されています※1。
駅の改札でタッチ＆ゴーをするICチップ付きの交通カード（SuicaやPASMOなど）。このカードは利用客が電車に乗る際の支払いに使われるだけではなく、タッチした際の情報が改札機を通して鉄道会社に送られ、自社内システム（旅行業等※4）で利用されています。さらに、これらのカードを使って買い物をすると、「誰が」「何を」「何回買った」のかが自動的にビッグデータとして蓄積されていきます※3。
選挙速報でよく見る出口調査も、ビッグデータの例といえます。出口調査は投票所から出てくる人に、「誰に投票したか」を聞いて行います。調査対象者は無作為に選ばれますが、その数は調査投票区の人口密度で決まってきます※5。
最近では、出口調査による予測よりもかなり前に選挙結果を予測できるようになっています。Yahoo! JAPANのビッグデータレポートチームは、2013年の参議院議員選挙の結果を、「Yahoo!検索」のデータや過去の得票数の結果などから予測し、驚異的な精度の選挙予測を行っています（参考記事）。
オープンデータは、政府・自治体が持つ情報資源を開放することで、革新的アイデアやイノベーションが生まれるきっかけを生み出そうというものです。IT業界の企業にとっては、オープンデータの情報を利用することで新たな商機を得ることが可能ですし、行政にとってはあらかじめ情報公開を行うことで行政に対する問い合わせが減少し、業務効率化につながります。
このオープンデータとビッグデータを組み合わせることで、様々な用途に応用できます。欧米では、犯罪を予測するサービスや農作物の収穫予測などにオープンデータが使用されていますが、日本でも静岡県が「ふじのくにオープンデータカタログ」を2013年に立ち上げました。こちらは観光情報・防災情報など県や市町村のデータが利用できるようになっています。また、「税金はどこへ行った？ – WHERE DOES MY MONEY GO? –」というサイトでは、自分が支払った税金の使途がインフォグラフィックで見ることが可能です。現在は一部の自治体の結果のみ見ることができますが、ビッグデータの活用例として興味深いコンテンツといえます。
オープンデータに関しては、ニューヨーク市の取り組みである「NYC Open Data」が参考になると思います。これについて知りたい方は、以下のページを参考にしてください。
IBMが開発したAI（「コグニティブ（認知型）・コンピューター」と紹介されることもあります）である「ワトソン」。アメリカのクイズ番組で賞金100万ドルを獲得したことで有名です。ワトソンは、事前にクイズに出題されそうな情報をインプットしておけば、機械学習（人間がもつ学習能力と同じく、コンピューターも経験から学習し、将来予測や意思決定を実現できるようにする技術や手法）や統計の解析などによってクイズに答えることができます。音声や画像を認識できたり、経験から学んで自ら賢くなっていったりするなど、人間の知能に非常に近づいているAIです。
このワトソンの機能とビッグデータを組み合わせた使い方が始まっています。例えば、アメリカとタイの医療機関では、医療の現場にワトソンを導入。がん治療のガイドラインや医学文献の抄録、図書館の公開データなど分析し、「この症状ならこの診断になる」とか「この治療をしたらどうか」など、医師の判断をサポートしています（参考記事）。このほか、資産運用や人材育成支援などにもワトソンは使われているようです（参考記事）。
政府は東日本大震災による震災復興・日本再生にビックデータの活用の重要性を提言しており、ICT政策の課題として、平成24年の情報通信白書では以下の方向性を示しています。
引用元：総務省 平成24年度版 情報通信白書「ビッグデータの積極活用による成長の実現に向けて」
2016年に利用が始まったマイナンバー制度。マイナンバーとは国民全員に割り当てられる12桁の番号のこと。現在は「社会保障」「税」「災害対策」の3つの分野での利用が認められています。利用分野については、今後利用範囲拡大も議論されています。
社会保障、とくに医療費に関しては、2014年度に40兆円を突破。医療費削減が課題になっています。医療分野でマイナンバーが利用されるようになれば、レセプト情報が医療機関で共有され、重複した診療等を減らすことができ、医療費削減につながります。このレセプト情報や電子カルテなど医療情報のデータが集まった「医療ビッグデータ」が実現すれば、大学や製薬会社の研究・新薬開発などにも役立つでしょう。もちろん個人が特定されない仕組みが必要ですが、医療の質が向上するのは言うまでもありません。
米国・EU諸国ではビックデータ活用に向けて積極的な取り組みを進めています。特に米国は政府として戦略的に取り組む姿勢を示しており、2012年より2億ドル以上の巨額な予算をビックデータの研究開発に投じています。
| 行政・機関 | 内容 |
科学技術政策局（OSTP） | ビックデータ活用の実現に向けたイニシアチブの作成 |
| 国立科学財団（NSF） | ・データサイエンティスト育成のための大学でのプログラム |
| エネルギー省 | 2500万ドルかけた新たな研究機関（SDAV）の設立 |
| 国立衛生研究所（NIH） | 200テラバイトにものぼる1,000のゲノムプロジェクトのデータのクラウド上での提供 |
| 国防高等研究計画局（DARPA） | ・年間2,500万ドルを４年投じる「XDATA program」の実施 |
| 国防総省 | ・ビックデータ新規研究プロジェクトに6,000万ドルの投資 |
| 地質研究所 | 地球システム科学に関するビックデータの分析等が出来る場の科学者への提供 |
引用元：総務省 平成24年度版 情報通信白書「ビッグデータの戦略的活用に向けた諸外国の取組」
ビックデータの活用は、
と人の手では複雑かつ膨大な作業となるため、これらの支援をサービスとして提供している企業を利用することで、ビックデータ活用の負担を大きく軽減してくれます。
を主なサービスとしており、“テーマ”、“活用データ”、“分析手法”、“産業”といった視点で様々なビックデータの支援・活用を公式サイトで紹介しています。
といった企業のリクエストにオーダーメイドで対応しています。
などに対応しています。 オーダーメイドのソリューションの他に、ビックデータ活用をパッケージ化した製品も多数提供しています。
といった企業の要求に対応する様々なサービスを提供しています。 また株式会社帝国データバンクではビックデータの分析・活用を研究視点で取り組んでおり、社会的に意義のあるテーマのデータ分析結果を公開・提供しています。
組織で新しいことにチャレンジしようとすると、社長や上司から「導入した際の費用対効果」の検証を求められることも多いと思います。ビッグデータの導入に関しても同様でしょう。しかしながら、ビッグデータはそもそも試行錯誤を繰り返して情報・ノウハウを蓄積していくものです。さらに、ビッグデータが結果を出し始めるにはある程度の年月が必要になります。ですから、従来のように検証をしてから導入を検討するという意思決定プロセスにはそぐわないといえます。
もし本気でビッグデータを導入しようと考えている場合は、トライ＆エラーを許容し、迅速な意思決定権を付与しつつ、ある程度の時間を覚悟する必要があるでしょう。このように、経営層の意識改革が必要なのです。
Photo by TheDigitalArtist
ビッグデータの利用に関しては、Suicaのデータの外部販売が問題になるなど、まだまだ乗り越えなければならない課題も多いです。ベネッセの個人情報流出問題など、消費者は依然として企業の個人情報の扱いに関してナイーブになっています。このような状況下でいかにビッグデータを活用していくのか、各自治体・企業には適切な対応策が求められています。
ビッグデータの活用事例など関連記事をもっと読みたい方はこちらからどうぞ。
（安齋慎平）
※1 岡村久和 監修『IoT時代のビッグデータビジネス革命』（2018年、インプレス社） ※2 野村総合研究所「ビッグデータの真実～ビッグデータの誤解を解く～」（PDFファイル） ※3 稲田修一『知識ゼロからのビッグデータ入門』（2016年、幻冬舎） ※4 大槻知史 「Suicaシステムの概要」（PDFファイル） ※5 朝日新聞出版「知恵蔵」（コトバンク） ※6 デジタル大辞泉（goo国語辞書）
ChatGPTとAPI連携したぼくたちが
機械的に答えます！
何か面白いことを言うかもしれないので、なんでもお気軽に質問してみてください。
ただし、何を聞いてもらってもいいですけど、責任は取れませんので、自己責任でお願いします。
無料ですよー
30秒で理解！インフォグラフィックや動画で解説！フォローして『1日1記事』インプットしよう！
