データ分析

戻る（データサイエンス力）

概要

分析の基本

考える順序

作業順の逆順で考える。

結果の想定

（ ↓ そのタメに必要なモノ ↓ ）
必要な図表の想定

（ ↓ そのタメに必要なモノ ↓ ）
必要なデータの「集計」（結果）の想定

（ ↓ そのタメに必要なモノ ↓ ）
必要なデータの「収集」（結果）の想定

属性を見出す

属性が分析の基準になるため、
新たな「列」をどう作るかが鍵。

関係性を見出す

現状のデータ（数字）を
- 分解して細かな要素に分け、
- 性質、構造などを明らかにする

ことで、

要因（１変数）の状況把握と
要因と結果（２変数）の関係として

解明する。

足し算やかけ算、log、ルート、微積分など
2つ以上の事象の関係性を、数学を駆使して、あぶり出す。
偽の因果関係を見抜く6つのステップ
- 【基本】「AならばBである」という関係の必然性を追求する
- 【反証】「AならばBである」という関係は偶然と仮定する
- 【裏】「AでなければBではない」と"裏"を考える（！原因→！結果）
- 【逆】「BならばAである」と"逆"にしてみる（結果→原因）
- 【第3の要因】新しい要因を想定する（交絡因子）
- 【実験】実際に試験する

関係性パターン

相関
- 集合
  - 前提にMECEという状態が必要
  - 分類の手段であるクラスタ分析、因子分析、主成分分析で作られる。
- 位置
  SWOT、PPM（いずれも PMP：共通 - OPM - ポートフォリオ・マネジメントの該当節を参照）
- 類似
  相関関係を表すデータが散らばったグラフから類似の関係性を探せる。
変化
- 展開
  分からないことを観測データから推論
  - ベイズ推定（ベイズ統計）
  - ロジカル・シンキング
  - フェルミ推定（観測データがない場合）
- 循環
  PDCA（データサイエンティストの該当節を参照）より、
  OODAが適合するようになってきている。
- 因果
  ロジスティック回帰分析（データ解析の該当節を参照）や
  判別分析（統計解析の該当節を参照）
構造
代数の領域
- 階層、ネットワーク
- T字、逆T字
空間
幾何の領域

展開、推論

ロジカル・シンキング
- 手法およびキーワード
  - MECE
  - So What / Why So
  - ピラミッド・ストラクチャ
  - ロジック・ツリー
  - フレームワーク
- 三角ロジックとトゥールミンモデル
  - 三角ロジック
    事実・データ（根拠）を基に、自分なりの理由付け（解釈）をする。
  - トゥールミンモデル
    ・結論、データ、理由付けの3つを議論の基本要素で図式化。
    ・さらに限定子、論駁、裏付けの要素が加えられている。
フェルミ推定（観測データがない場合）
- ココで出てきたものがKPIになったりする。
- アメリカのシカゴには何人のピアノの調律師がいるか？
  （フェルミ推定 - Wikipediaに例がある。）

変数と尺度

説明変数と目的変数

説明変数
- 統計学において因果関係の原因となる変数。
- 回帰分析などで用いられる。
- 別名
  - 予測変数
  - 独立変数
目的変数
- 統計学において因果関係の結果となる変数。
- 回帰分析などで用いられる。
- 別名
  - 結果変数
  - 応答変数
  - 反応変数
  - 従属変数
  - 基準変数
  - 被説明変数

名義尺度(質的データ)

カテゴリに分類するための特性を表す尺度
- 順序無し（名義尺度）
  性別、血液型、都道府県など
  - カテゴリ分類の意味のみ持つ。
  - 四則演算に意味は無い。
  - 代表値に意味は無い。
- 順序付き（順序尺度）
  松/竹/梅、優/良/可などの順位
  - 順位に意味を持つ。
  - 四則演算、値の間隔に意味は無い。
  - 中央値のみ意味を持つ。
データや分類で使用され、
質的分類は標準化される（日本標準産業分類など）。

連続尺度(量的データ)

数値で表し測れる大小の関係がある尺度で、
比例尺度と間隔尺度は見分けが難しい場合がある。
0の時に測定対象がnullになるかならないかで判断。
- 間隔尺度
  年齢、西暦・元号、セ氏度など（0でも測定対象がある）
  - 一般的な数値データ
  - 順位に意味を持つ。
  - 加減算に意味を持つが、
    乗除算に意味は無い。
  - 代表値に意味を持つ。
- 比率尺度
  速度、人口、体重、金額、売上など（0だと測定対象が無い）
  - 絶対的な原点０を持つ数値データ（０≠null）。
  - 順位に意味を持つ。
  - 四則演算に意味を持つ。
  - 代表値に意味を持つ。

上記以外の分類

離散型データ（計数データ）
- 数えることができるデータ
- 人数、枚数、個数、性別、表・裏、正・誤
連続型データ（計量データ）
- 数えることができず連続的なデータ
- 身長、体重、面積、体積、時間、強度、濃度

解明の仕方

要因の状況把握

鳥瞰的な状況把握
- 可視化：図表作成
- 代表値：
  代表値と呼ばれる特徴量を算出することで、
  図表を用いずに鳥瞰的な状況把握が可能。
名義尺度
- 可視化：棒グラフなど
- 代表値
  - カテゴリ数
  - 最頻値
  - など
連続尺度
- 可視化：ヒストグラム（統計解析の該当節を参照）など
- 代表値
  - 平均値
  - 標準偏差
  - 最頻値
  - など

要因と結果の関係

比較
- 名義 vs 名義：
  クロス集計を用いて、離散分布を比較
- 名義 vs 連続：
  ヒストグラムを用いて、連続分布を比較
傾向
- 連続 vs 連続：
  散布図（統計解析の該当節を参照）や
  時系列等で、
  片方の変数に対してもう片方の変数の傾向を見る。

複数要因の関係

要因が複数の時、要因間の相互作用も考慮すべきであるが、
変数が３～４個以上になると、前述の手法だけでは困難
要因と結果を示すデータをコンピューターに与え、
自動的にその関係を学習させる機械学習などが有効

定量分析

プロセス

問題解決	定量分析	ロジカル・シンキング	PF1	→ PF2	→ PF3	→ PF4
問題発見フェーズ	Step1：目的の明確化	ロジカルシンキング	目的＆仮説で比較軸を決める（どのKGI or KPI？）	問題の構造分析（CSF → KPI → KGI）	仮説検証の分析計画を提案	目的 → 問題の特定
〃	Step2：仮説立案	〃	〃	〃	〃	問題の仮説立案
解決策立案フェーズ	Step3：解析準備	〃	比較条件を決める（パネル → クロスセクション）	比較して意味合いを抽出	〃（繰り返し）	分析方法の設計
〃	Step4：解析・検証	〃	〃	〃	〃	意味合いを抽出
実行フェーズ	Step5：提言・実行	－	－	－	－	仮説検証の分析計画を実行し（、問題ではなく）、目的に対応する具体的な対策まで実行

移行メモ: 元表は PukiWiki の縦横セル結合（|>| |~|）を多用していたため、
結合セルは〃 / －に置き換えて再現した。
KGI・KPI の詳細は ST：CSF・KPI・KGI、
CSF → KPI → KGI は ST：BSCとKPI・KGI、
パネル / クロスセクションは統計解析の該当節を参照。

ロジカル・シンキング

展開、推論も参照。

解くよりも解けるように問題を定義する。
So What / Why So
ピラミッド・ストラクチャ
- 結論（目的に沿う比較軸を選択する。）
- 比較（データの比較条件を揃える。）
- 事実（様々なデータ）

構造分析

数字の大小ではなく構造を理解する。

フェルミ推定
- 掛け算での分解：モレ分析（プロセス上の問題を分析）
- たし算での分解：マトリクス分析（２属性までバラつきの要因を分析）
ディシジョン・ツリーによる期待値の計算
- 意思決定毎の期待値を算出
- デシジョンボックス
  - 意思決定分岐
    意思決定の分岐
  - チャンスイベント
    確率的に利得が変化するイベント

定量化と定性化

定性化：定量的なデータを可視化＆比較して意味合いを抽出。

定性情報

↓ 定量化 ↑ 定性化

定量情報

仮説検証の分析計画

仮説検証の分析計画
- 仮説立案
  - ロジカル・シンキング
  - 構造分析
- 仮説検証の計画立案
  定量化と定性化
- 仮説検証で解決策立案
- 解決策の具体化計画
仮説検証：空 → 雨 → 傘
- ┌──────────→ 空：結果
- │　　　　　　　　雨：考察（かも）
- └（データ処理）← 傘：次アクション → 具体的な対策

詳細

分析手法

可視化・分類・予測

データ分析の手法には「可視化」「分類」「予測」の3つがある。
現場では「可視化」「分類」「予測」に加え検証の作業の繰り返しが基本。
検証の方法には、効果検証、A/Bテストなどがある。

変数の数や尺度で分類

変数の数

１個
- ヒストグラム（統計解析の該当節を参照）
- パレート図（統計解析の該当節を参照）
２個
- 量的：散布図、単回帰分析（相関分析）
  （いずれも統計解析の該当節を参照）
- 質的：クロス集計
３個以上
目的変数の数
- ０個
  - 量的：主成分分析 / クラスタ分析
  - 質的：数量化理論Ⅲ類
- １個
  目的変数の種類
  - 量的
    説明変数の種類
    ・量的：重回帰分析（統計解析の該当節を参照）
    ・質的：数量化理論Ⅰ類（統計解析の該当節を参照）
  - 質的
    説明変数の種類
    ・量的：ロジスティック回帰分析（データ解析の該当節を参照）や
    　判別分析（統計解析の該当節を参照）（因果）
    ・質的：決定木分析（統計解析の該当節を参照）
- ２個：正準相関分析

分析の目的で分類

参考情報A

分析目的	分析手法
特徴	基本統計量、ヒストグラム、パレート図、時系列分析
分類	クラスタ分析、判別分析、ロジスティック回帰分析、機械学習の分類、クラスタリング
集約	主成分分析、因子分析
予測	相関分析、回帰分析、数量化理論Ⅰ類、待ち行列分析

参考情報B

分析目的	分析目的（細分）	分析手法
予測	数値予測	回帰分析、決定木分析、DNN
〃	判別	ロジスティック回帰分析、決定木分析、DNN
非予測	分類	クラスタ分析
〃	相関	アソシエーション分析
〃	縮約	主成分分析、因子分析

参考情報C

分析目的	分析目的（細分）	分析目的（細分2）	分析手法
－	－	絞り込み	クロス集計
予測	－	関係の強弱を知る	相関分析
〃	影響度を測る	数値予測	決定木分析、回帰分析
〃	〃	判別	決定木分析、ロジスティック回帰分析、判別分析、MT法
－	非予測	分類	クラスタ分析
〃	〃	相関	アソシエーション分析
〃	〃	集約	主成分分析、因子分析
－	－	検証	A/Bテスト、コホート研究、ケースコントロール法
その他	－	推論	ベイズ推定
〃	－	空間把握	トポロジカルデータ解析、スパースモデリング
〃	－	非構造化	テキスト・マイニング（形態素解析）

移行メモ: 上記 3 表とも元表は縦横セル結合を多用していたため、
結合セルは〃 / －に置き換えて再現した。各分析手法のリンク先は
統計解析・データ解析・
ニューラルネットワーク（DNN）・
AIの活用例（MT法）の各該当節。

分析のプロセスで分類

－	問題発見、問題認識（異常は発生していないか？）	原因発見、解決策（ベストな選択はなにか？）	効果の確認
見える化	ヒストグラム、時系列分析	パレート図、散布図、クロス集計	層化
統計的手法	（目的変数が質的データの場合、もしくは分類）検定、判別分析、ロジスティック回帰分析、クラスタ分析	（目的変数が量的データの場合、もしくは分類）決定木分析、主成分分析、回帰分析・アソシエーション分析	検定

その他、利用頻度、関連

利用頻度

順位	手法
1	クロス集計
2	クラスタ分析
3	回帰分析
4	決定木分析
5	相関分析
6	ロジスティック回帰分析
7	因子分析
8	アソシエーション分析
9	判別分析
10	主成分分析

組合せパターン
多くの目的に有効な3つのパターン。
- 【パターン1】
  アンケートからのA/Bテスト。など。
  - 分類：因子分析
  - 影響度を測る：回帰分析
  - 検証：A/Bテスト
- 【パターン2】
  F1層が商品を買うか買わないか。など。
  - 分類：クラスタ分析
  - 絞り込み：クロス集計
  - 影響度を測る：ロジスティック回帰分析
- 【パターン3】
  - 絞り込み：クロス集計
  - 関係の強弱を知る：相関分析
各分析手法の関連

 散布図 ─> 函数 ─> 回帰分析 ─┐
 条件付き確率 ┬─> ベイズ法  ─┴─────┬─> 判別分析 ─> 機械学習
              └─> アソシエーション分析  ─┘ （判別モデル）
                                                   ↑
                                                深層学習

※ ベイズ法はトップダウン方式、深層学習はボトムアップ方式
（深層学習（deep learning）の該当節を参照）

可視化・代表値（統計量）

可視化

様々な
- 統計表（統計解析の該当節を参照）
  - 棒グラフ, 円グラフ, etc.
  - ヒストグラム
  - パレート図
  - 散布図
- 確率分布（統計解析の該当節を参照）

を利用する

図表の例
- 品質マネジメント（PMP：品質マネジメントの該当節を参照）
- ...

関係の見方

可視化する。
- ２つのヒストグラムから
- １つの散布図を生成できる。
共分散・相関係数（統計解析の該当節を参照）の指標が得られる。

代表値（統計量）

母集団から無作為抽出されたデータ（標本）から
母集団推定のために計算で生成される数字を表す。

代表値(統計量) の特徴を数値にまとめるもの
代表値では分布を見なくても、分布の特徴を把握できる
グラフによって代表値が変わってくる
（棒グラフではカテゴリ数なども代表値になる）。
一般的には、以下の代表値がよく用いられる
- 分布の中心
- 分布のバラつき

分布の中心

位置を示す
偏りや外れ値がある場合、中央値と最頻値は
平均値より有意義（直感に近い値を示す）
- 平均値：分布の中心傾向を表す値
  分布が偏っている場合、外れ値が存在する場合には解釈に注意
  - 相加平均（算術平均）：
    一般的に平均といえばこれ。
    すべての変量の和をデータの総数で割った値で表す。
  - 相乗平均（幾何平均）：
    伸び率の平均を求めるような場合
  - 調和平均：
    速度や生産性など単位量あたりの大きさの平均を求める場合
  - 加重平均：
    観測する値に重みを加えた平均値で表す。
    人数が違うクラスAとBの平均点から学年の平均点を出す
  - 移動平均：
    時系列で大きい変動を見るのに利用される。
    一定期間の間隔（＝ウィンドウサイズ）を定め、
    その間隔内で計算した平均値で表す。
    （パフォーマンスカウンタなどで使われる）
- 中央値（メジアン）：分布を下半分と上半分に分ける値
  偏りや外れ値がある場合、平均値より有意義であることがある。
- 最頻値（モード）：頻度が最も高い値
  偏りや外れ値がある場合、平均値より有意義であることがある。
表計算ソフト（Excel、LibreOffice Calc）では以下の関数が使える
- 平均値：AVERAGE関数
- 中央値：MEDIAN関数
- 最頻値：MODE関数

分布のバラつき

範囲、カテゴリ数
データの最大値と最小値の差（レンジとも呼ぶ）を表す。
四分位・パーセンタイル・箱ひげ図
分布（中央値からの散らばり）を表現
- 四分位
  四分位数の定義はいくつかあるが、文科省による定義は、
  「全データを順に並べて四つに等しく分けたときの三つの区切りの値」。
  - 第ｎ分位
    ・第１四分位 (Q1)
    ・第２四分位 (Q2) = 中央値
    ・第３四分位 (Q3)
  - 四分位ｘｘ
    ・四分位範囲 = Q1～Q3
    ・四分位偏差 = 四分位範囲 / 2
- パーセンタイル
  = 四分位を拡張する
  - ｎパーセンタイル
  - 25パーセンタイル = 第１四分位 (Q1)
  - 50パーセンタイル = 第２四分位 (Q2)
  - 75パーセンタイル = 第３四分位 (Q3)
- 箱ひげ図
  カテゴリ毎に等、狭いスペースに
  複数の分布を並べて表現することが可能
  - 四分位範囲（Q1 - Q3）に箱を描く
  - データのある所まで線を描く（MAX：四分位範囲の1.5倍）
  - 線の外にデータがある場合、その位置に点を打つ。
分布を指標化した数値（統計解析の該当節を参照）

分類・予測

予測

手順
1. 予測によって影響度を測る
2. 先を読む
3. 効果を検証する
手法
- 関係の強弱を知る
  - 相関分析
- 影響度を測る
  - ロジスティック回帰分析
  - （重）回帰分析
- 先読み
  - 判別分析（統計解析の該当節を参照）
  - MT法（AIの活用例の該当節を参照）
- 傾向から予測する。

結果の報告

記述/可視化方法

要件①：調査分析の前提条件の明示
明示しない場合、結果を誤って解釈する事がある。
- 目的、用語の定義
- データソース（期間、対象者など）
- 外在的要素・状況（社会情勢、制約条件など）
要件②：分析プロセスの明示
プロセスが分析結果に影響を及ぼす事がある。
- 収集方法
- 分析手法
要件③：適切な表現
- 情報を正確に伝える指標設定（代表値など）
- 示したい事柄に適した表、グラフの種類
- 図表の部位の明記（タイトル、凡例、軸、単位、出典等）

解釈の注意点

記述/可視化方法を踏まえて解釈する。

パターン
- 不適切なサンプル
  - 母集団を代表していない標本。
  - 偏りのある標本、少ない標本
- グラフの作為
  - 基準点、単位、期間の異なる比較。
  - 視覚的な錯覚を生じる表現など。
- 定義の違い
  定義の違いを無視して比較する場合など。
- 認知バイアス
  ヒューリスティックス（経験則）によるバイアス
  - 記憶や想像のし易さによる利用可能性ヒューリスティックス
  - 典型事例を全体像として錯覚する代表ヒューリスティックス
- 確証バイアス（認知バイアスのパターンの該当節を参照）
  仮説や信念を検証する際にそれを支持する情報ばかりを集め、
  反証する情報を無視または集めようとしない傾向のこと。
例
- 情報の偏り（不適切なサンプル）
  - 母数が少ない。
    女性の大学院進学率（3人だけ）
  - 年賀状を出す人
    平日昼間の固定電話による世論調査（高齢者）
- 軸の操作（グラフの作為）
  - 軸の基準点、データの単位、データの取得期間
  - 変化を解り易く伝える反面、誇張にもなる。
- ロジック展開のウソ
  正規雇用社員比率が上がった理由は非正規雇用社員の大量退職。
  - 比率では解らない（実数を確認する必要がある）。
  - 実数の変化が何故起きたか？も確認する必要がある。
- 錯覚・思い込み
  - 条件付き確率

-	X	Y
罹患率	0.1％	80％
致死率	50％	0.001％
罹患＆致死率	0.05％	0.0008％

- ...

分析の発展

順問題と逆問題

データ分析における順問題と逆問題
（定義は実際曖昧で、時代や学問分野によって異なることが多い。）

順問題：
原因から試行錯誤しながら結果を探索
- 原因から結果を推定、数理モデルを使った予測
  - "構造"から"機能"を発見する。
  - 確率や、基礎研究や基礎医学は順問題。
  - 推論の結果が知識 → 知恵へと変わっていく
    （DIKW、データサイエンティストの該当節を参照）。
- 必要なもの
  - データ（入力用）
  - モデル
    ・数理モデル
    ・ベイズ統計の推論モデル（ベイズ統計の該当節を参照）
    ・フェルミ推定
    ・ロジカル・シンキング
    ・通常のシミュレーション
逆問題：
結果から、原因を探求
- 結果から原因を推定、データから数理モデルを推定
  - "機能"に見合った"構造"を探す
  - ある現象に着目して観測データから、
    その原因や現象を支配しているパラメタなどを決定する問題。
  - 通常、原因やパラメタなどは直接的に決定することが不可能であり、
    利用できる間接的な観測データから推定することしかできない。
- 必要なもの
  - データ（分析用）
  - 勘と経験と度胸（KKD）
  - モデル
    ・推論統計の統計モデル（統計解析の該当節を参照）
    ・ベイズ統計の経験モデル（ベイズ統計の該当節を参照）
    ・逆問題解析（非破壊検査、最適形状作成、最適制御）
AUOODA（プロセス）
OODA（高度午前 - システム戦略の該当節を参照）が
基礎で順問題と逆問題でプロセスが異なる。
２プロセス併用して、他方の内容を検証する方法もある。
- 順問題
  - A (arrange、探索)
    ・データ群から原因となる事象を測定（Measure）
    ・試行錯誤で探索し、離れたデータ群をぶつけて共通点を探す。
  - U (understand、学習 > 理解)
    ・データを十分に理解し、事象を学習
    ・新しい列を作りながら設計（Design）し、情報化。
  - O (observe、学習 > 観察)
    情報から規則性、あるいは、いつもとは違う"何か"を観測（Monitor）。
  - O (orient、モデル化)
    規則性、因果関係、相関関係などをモデル化し
    アルゴリズム（Algorithm）を考える。
  - D (decide、推論)
    ・可視化・分類した分析結果は単なる事実
    ・主観的に推論（ナレッジ化）するための解析（Analytics）。
  - A (act、実践)
    推論で得られた真実を明確なメッセージに変える（ビジネスモデルの構築）
    ・誰に、どのような価値を提供するか【Who、What】
    ・そのために、どんな業務構造や取引先との関係が必要か【How、When、Why】
    ・どのような販売ルートと価格設定で、どれだけ収益を上げるか
    　【Where、Which、How much】
- 逆問題
  - A (act、経験値・肌感覚)
    ビジネス（モデル）上の経験値・肌感覚のデジタル化
  - D (decide、可視化)
    デジタル化した経験値を可視化していくことで解析（Analytics）の糸口にする。
  - O (orient、モデル化)
    経験値を可視化する中で、アルゴリズム（Algorithm）を見抜き数値化する。
  - O (observe、観察・検証)
    数値化したものの正当性を得るために観察（Monitor）し、検証する。
  - U (understand、理解)
    ・なぜ、このような結果になるのか、その原因を理解する。
    ・単なる原因だけでなく、真の目的や意図（Design）をくみ取る。
    ・必要に応じデータに隠れている、人のたくらみや下心も読み取る。
  - A (arrange、原因への対策)
    ・浮き上がった原因への対策（Countermeasure）を施し、
    ・原因に繋がる事柄を整頓（Arrange）していく。

移行メモ（正誤）: 元ページの「Algorism」は「Algorithm」の綴り誤りと判断し修正した。

データ分析と数学

データ分析の手段と数学の間にある関係

分析の手段	関連する数学の例
可視化	確率分布、統計、集合論、線形代数、行列（画像データ、文字データは行列で表せる）
分類	群論、統計
予測	解析（フーリエ解析など）、確率、統計、行列の固有値、微積分、セルオートマトン
判別	代数、方程式論、アルゴリズム論
推論	ベイズ推定、微積分
トポロジカルデータ解析	幾何、トポロジー、多様体
スパースモデリング	トポロジー、グラフ理論

数理モデル

推定や予測をする。
- 物事を説明するのに必要な数学的なフレームワーク。
- データの生成プロセスをおおまかに理解するため。
モデルの仮定や検証
- モデルの妥当性、モデルのパラメータの正確な推定、
  モデルからの推論が関心ごと。
- テストに使われるデータは分析対象の母集団からランダムに取られたサンプル
分類
- 数理モデル（決定論的・確率論的モデル）
  必ずしも不確実性を含むわけではない
- 統計モデル（非決定論的モデル）
  （統計解析の該当節を参照）
  - 不確実性を明示的に取り込んでいく
  - 不規則性を確率の概念をもって表現する
- 構造
  - ランダム
  - 一定
  - 線形関数（１次関数）
  - ２次関数
  - ｎ次関数
  - 指数関数
  - 正規分布
- 指向
  - 理解指向モデル
    データ生成の原理・仕組を知る事に焦点を合わせたモデル。
    ・数理構造から知る
    ・推定したパラメタ値から知る
    ・推定したパラメタ値と内部構造から知る
    ・パラメタ値を変えてシミュレーションする
  - 応用指向モデル
    現実の事象から数学化、データを生成して現実での応用に
    焦点を合わせたモデル
    ・回帰モデル
    ・分類モデル
    ・生成モデル

想定外の軽減

想定外は予測しにくいため。

信頼性の高いデータを使う
- 信頼性 = 完全性 + 正確性 + 正当性
- 正当性 = 合理性 + 社会通念 + 経験則 + 客観性
ハインリッヒの法則を応用する
1件の重大な事件・事故の背景には、
- 29件の軽微な事件・事故があり
- 300件のヒヤリ・ハットした事象がある
"トライアングル"を成立させない
（SC：脅威の該当節を参照）
- 動機　：明確な要求（デマンド：Demand）
- 機会　：モニタリング
- 正当化：顕在化した感情（エモーション：Emotion）
適切なデータ分量を知る
- 1次データは臨場感のあるデータで生々しいが、
- 2次データは脚色されている可能性も高い。

心理学要素

心理学要素が必要になることもあり、
画一化・標準化されたデータ分析を難しくしている。

様々な認知バイアス（認知バイアスのパターン）
- 同調効果（ミラー効果）
- 内集団バイアス
- リスキーシフト
- ハロー効果
- フレーミング効果
- アンカリング効果
- プライミング効果
- バンドワゴン効果・アンダードッグ効果
- ツアイガルニック効果、スノッブ効果、ウインザー効果
プロパガンダ・テクニック
- エコーチェンバー
- 感情への訴えかけ
- 衆人に訴える論証
- 恐怖に訴える論証
- ヒトラーに例える論証（ゴドウィンの法則）
- 虚偽報道、フェイクニュース
- 敵対的メディア認知
発生論の誤謬
- 権威に訴える論証
- 伝統に訴える論証
- 新しさに訴える論証

人の行動・感情（非構造化データ）

データの種類
- 明確な要求（デマンド：Demand）のデータ
  - 構造化、非構造化データ
  - モノを買ったりサービスを利用したり
  - デマンドドリブン型のシステム
- 意図のない単なる事象（イベント：Event）のデータ
  - 構造化、非構造化データ
  - 意図を持たない、単なる流れによって発生する
  - イベントドリブン型のシステム（レコメンド）
- 顕在化した感情（エモーション：Emotion）のデータ
  - 非構造化データ
  - 喜怒哀楽など、人の感情が顕在化したもの
  - エモーションドリブン型のシステム
- 潜在的な心理（マインド：Mind）のデータ
  - 非構造化データ
  - 本人も気付いていない（潜在的）人の意識の状態や変化
  - マインドドリブン型のシステム
利用例
- 退職傾向の分析
- ...

モデルとシミュレーション

社会課題の解決
- 感染症対策、企業経営、金融リスク、電力市場の自由化
- データだけでは難しい、事前に実験・検証が困難
  - データそのものは常に完全ではない。
  - すべてのデータが集まるわけではない。
  - 従来型の統計分布や予測モデルでは僅かな事象を反映しない。
  - 人間、社会、経済は実験が非常に難しい対象
  - 現状のデータから「外挿」を推定する必要もある。
- モデルに基づく課題解決が重要（モデル自身も不完全）
  - 対象システムの主要な要素関係を抽出
  - コンピューター上でモデル化
  - シミュレーション
    ・課題をコンピューター上のモデルで再現し、
    ・解決策の効果をモデルを使用して評価する。

ビッグデータの法則

95％は信頼できない
- 日本国債の金利に影響する動きの早い海外保有量は全体の5%程度
- ブランドに関するアンケートで役立つコメントは約5%
- 会社を引っ張っていく影響力のある人材は5%
- 今後はデータを如何に捨てるかが重要に。
パレートの法則からロングテールの法則へ
分布の「右側」や「左側」が重要になってきている（ビジネスチャンスが潜む）。
- 付加価値が高い高級品の売り上げは伸びている。
- IT界隈のBig5、ソシャゲの廃課金者
- リスク管理（ネット炎上、ES/CS）
- イノベーター理論の左右の5%への注目
- クラウド・ビジネス（低価値・低頻度の事業化）
振り子現象
- データを重視し過ぎると振り子現象などで分析麻痺が起こる。
- データとは正反対の直感が重視されるようになる。
業界によって様々な
- ベンフォードの法則
  自然界に出てくる多くの数値の最初の桁の分布が、
  一様ではなく、ある特定の分布になっている、という法則
- モンモール数
  完全順列の総数、プレゼント交換がうまくいく確率
- ネイピア数
  （DS：数学的基礎 - 微分・偏微分の該当節を参照）
  最適停止問題、最適停止問題の一種の秘書問題
- 黄金比（ 1：（ 1 ＋ √5 ）/ 2 ≒ 1：1.62 ）
  フィボナッチ数列で、ある程度数が大きくなると、
  数列の隣り合う数の比が限りなく黄金比に近づいていく。
  - 為替の大きな流れが約162カ月で変わるという説
- 白銀比（1：√2 ≒ 1：1.414）
  長方形の長辺を中点で2分割してできた長方形が、
  元々の長方形と相似であるようにした辺の比
  - A4判、A5判など用紙の縦横比は白銀比
  - 日本の美術や建造物で用いられ日本人の感性に合うと言われる。
- 「78：22」の法則
  - 空気の窒素含有率
  - 体内の善玉菌と悪玉菌の比率

活用

パターン

クロス集計を用いて離散分布を比較

クロス集計を用いて
離散分布（統計解析の該当節を参照）を比較

簡単に言うと、

集計結果を二次元表で見る（クロス集計分析の該当節を参照）。
ピボット / アン・ピボット（クロス集計分析の該当節を参照）
ドリルダウン、ドリルアップ、ダイス、スライス、ドリルスルー
（クロス集計分析の該当節を参照）

などを行う。

集計元のデータが連続尺度である場合は、

ヒストグラム（統計解析の該当節を参照）などを使用して

カテゴリ毎の分布を確認しても良い。

ヒストグラムを用いて連続分布を比較

年代別来客数などを例に。

可視化の活用
- 標準級間隔を設定。
  例えば、年代別来客数なら、
  10歳毎の世代に区切る。
- 以下が読み取れる。
  1. どんな種類がある？
  2. 最も多い種類はどれ？
  3. 大半のサンプルはどこ？
  4. 最小値はどれぐらい？
  5. 最大値はどれぐらい？
  6. データ不備はある？
- 特徴の異なる様々な分布がある
  - ピーク（峰）の数
    異種データの混在の可能性に注意
  - ピーク（峰）の偏り
    平均値を解釈する際に注意
  - 外れ値の有無
    データ不備や異常値の可能性に注意
代表値の活用
分布の特徴を少ない情報で伝えられる

散布図で傾向を見たり予測をしたり。

散布図は統計解析の該当節を参照。

時系列等で傾向を見たり予測をしたり。

クロスセクションデータ（統計解析の該当節を参照）
実数同士では正しい比較にならない場合は、
規模の影響を取り除いた比率で見る。
- 構成比
  総数とその内訳の比率
- 相対比
  - 異なるデータを分子、分母に取った比率
  - （人口や面積など）各集団の大きさの影響を除去

※ 余談：分母が同じで足して100％になる２つの比率は-1の相関になり意味がない。

時系列データ（統計解析の該当節を参照）
- 観測頻度
  - 年次データ（暦年、年度）
  - 半期データ（暦年、年度）
  - 四半期データ（暦年、年度）
  - 月次データ
  - 週次データ
  - 日次データ
  - 時間データ
  - 不規則間隔データ
- フローデータとストックデータ
  - フローデータ
    ある期間内の発生量や変化量
    （例）平成25年の1年間の出生数
  - ストックデータ
    ある一時点の状態をとらえたもの
    （例）平成26年10月1日現在の人口
  - 例
    ・出生数と人口
    ・販売台数と保有台数
    ・...
- 名目値と実質値
  金額を扱う統計で使われる。
  - 名目値
    その時その時の価格により表した金額
  - 実質値
    ある基準時の価格により表した金額

       名目値
 = --------------
      価格指数

季節性の調整
- 季節性の例
  ・夏：クーラー代、ビール消費
  ・冬：暖房費、鍋材料
  ・新学期：教育費
  ・ボーナス時期：高額商品
- 季節性を調整する方法
  ・簡単な方法：前年同月比

       当月の値
 = -------------- - 1
   前年の同月の値

  ・高度な方法：季節調整（季節変動を除去）\
  　Excelの[データ]タブから[データ分析]をクリックし、\
  　ダイアログボックスで[移動平均]を選択し、\
  　月次データの場合、区間を[12]に設定する。

- 見方\
  季節調整値の傾向の変化を見る。\
  ・前月比\
  ・前年同月比\
  ・前年同月の前月比

季節性以外の変動を考慮
コレ等のデータ特性を見極めた上で予測を行う。

 時系列データ = 傾向・循環変動【TC】+ 変動の季節変動【S】+ 不規則変動【I】

同時相関と相互相関
（季節性は除かれているものとする）
- 同時相関
  ・同時点での相関＝２つの時系列データを並べた場合
  ・可処分所得と消費支出の相関係数 = 0.46
  ・擬似相関（統計解析の該当節を参照）
  　・双方の時系列に単調トレンドがある時、相関があるように見える。
  　・前期比などに変換してから相関係数を計算する（→ 相関なしと解る）。
- 相互相関
  時間差での相関
時系列予測
- 多項式回帰による予測
  トレンドが時間の関数
  ・はっきりしたトレンドがある場合、時間の多項式を当てはめて予測
  ・1次関数が良く用いられ、高次の多項式は望ましくない。
  ・大きな構造変化が起こるときにはうまく予測できない。
- 自己回帰モデル（auto-regressive model）
  線形予測モデル（linear prediction model）による予測。
  実現値となる変数がその変数の過去の値と確率項に線形に依存。
  ・今現在の値を現在より前の値を重みづけして足し合わせる（線形和）ことで表現
  ・過去の変数を用いることで精度を高める。
  　どのくらい遡るかは、統計的な判断が必要。
  ・トレンドがある場合には適用できない。
- 多くの時系列を活用した予測。
  １つの時系列だけでの予想は困難。相互相関を活用。
回帰分析（統計解析の該当節を参照）の応用
説明変数 [𝑋] に時間 [𝑡] を適用
より高度な時系列分析
- 多量の時系列データを使った分析
  ・パネルデータの分析
  ・高頻度観測データの活用
- 時系列の背後にある潜在要因の推定。
  ・トレンドの推定
  ・共通成分の推定

移行メモ（正誤）: 元ページの「季節製以外の変動」は「季節性以外の変動」、
「[移動平均]を選択肢」は「選択し」の誤変換と判断し修正した。

ビジネス上での事例

A / Bテスト

ランダム化比較試験
ビジネス上での活用では効果検証が重要になる。
- 広告デザインの売上への効果
- ウェブサイト・コンテンツのクリック率への効果
- ワクチンの感染病予防率への効果
KGIと施策の間の関係(施策効果) を調査する。
1. 対象の集団から小集団（標本）を2つ取り出す。
2. 効果検証をしたい施策A/Bをそれぞれの標本に適用する。
3. それぞれの標本においてKGIを測る。
4. 両施策によるKGIの分布を比較し、有意な効果があるかを判断する。

※ 両標本に施策A/Bを適用する（A/B以外を混ぜない）ので、公平にするには、
　両標本は全ての要因について同一である必要がある（→ ランダム・サンプリング）。

事例
- デザイン変更の効果測定
- クーポン配布の効果測定

アンケート

肝臓癌死亡率ワースト１からの脱却の PPDAC
（データサイエンティストの該当節を参照）

P (problem、問題)：
- 肝臓癌死亡率ワースト１
- 肝炎ウイルス陽性者が治療を受けていないケースが多い
P (plan、計画)：
治療を受けるまでの意思決定過程における特徴を把握する。
D (data、データ収集)：
受療者及び未受療者に対してアンケートを実施。
A (analysis、分析)：
- 医師が早い段階から説明を行った方が受療率が高いことが判明
- アンケートの分析にはクロス集計分析などを使用できる。
C (conclusion、結論)：
医師が早い段階から受療の効果等について説明する取り組み

移行メモ: 元ページの PPDAC のリンク先は BI / AI ページの
アンカ #ef5f4720 になっていたが、当該アンカは データサイエンティスト の
「ビジネス力（イノベーション力）」節のものであるため、
データサイエンティストに張り替えた。

QC手法の適用

＜以下、一変量解析＞

基本統計量とヒストグラム
- 基本統計量
- ヒストグラム（統計解析の該当節を参照）
時系列図（管理図、PMP：品質マネジメントの該当節を参照）
- どう計画するか？
  - 仮説：時系列で値に変動がある。
  - 目的の数値化
- どう読めばいいか？
  - 特徴：比較結果
  - 意味合い：次の仮説
- EXCELでどう作るか？
  - グラフ化するデータの範囲を選択
  - 挿入 → 折れ線 → マーカー付き折れ線を選択
パレート図（統計解析の該当節を参照）

＜以下、二変量解析＞

散布図と単回帰分析（いずれも統計解析の該当節を参照）
クロス集計とその応用

テスト分野

テスト分野の理論体系（DS）

データ解析

クロス集計分析
アソシエーション分析（データ解析の該当節を参照）

統計解析（事例）

統計解析の該当節を参照。

ビッグデータ（事例）

ビッグデータの該当節を参照。

コンテクストやバイアス

データがどうやって生成されているのか、
そのコンテクストやバイアスなどに注意を払うべき

社会科学データには主観が入り込みやすい

計測単位が決まっていないため、計測する人の解釈やバイアスが入り込む。

全てのデータは加工済み

全てのデータというのは実は加工されている。

なぜそれが収集されたのか
どのように収集されたのか
どのように加工されたのか

データは集めた人の声を代弁する

データが自分自身で話すことはない。
大量のデータを使っても、
- 客観的で、コンテクスト
- 因果関係、バイアス、選択、不完全性

と言った問題は、解決できない。

統計を使ってウソをつく方法からの学び
（統計解析の該当節を参照）

データは人間の衝突を解決しない

データに対する盲信は、そのデータに対する信用をも無くす。

参考