DNET_DataMiningKNIME - NetDevInfraWGinOSSConsortium/NetDevInfraWiki GitHub Wiki

デヌタマむニングDM- KNIME

抂芁

  • ドむツのコンスタンツ倧孊で䜜られたOSS
  • 分析、レポヌト、および統合プラットフォヌム。
  • GUI、デヌタ分析の䞀連の流れを実行できる。
  • 日本語版は無いため衚蚘は英語。

詳现

むンストレヌション

ダりンロヌド

むンストヌル

むンストヌラを起動しお、
既定倀でむンストヌル

基本操䜜

起動

むンストヌル埌、スタヌト・メニュヌから起動。

ワヌクスペヌス蚭定

「Select a directory as workspace」ダむアログの「Workspace:」欄に、
任意の䜜業甚フォルダを指定しお「Launch」ボタンを抌䞋する。

ワヌクフロヌ䜜成

  • 「KNIME Explorer」の「Local (Local Workspace)」を右クリックし「New KNIME Workflow」を遞択

  • 「New KNIME Workflow Wizard」ダむアログの「Name of the workflow to create:」欄に、
    任意のプロゞェクト名を入力しお「Finish」ボタンを抌䞋する。

  • 最も基本的な操䜜ずしお、ファむルの読み蟌みを行う。

    • [Node Repository]の怜玢窓に[File]ず入力し[File Reader]を怜玢する。
    • [File Reader]を[Workflow Editor]に [D & D] する。
    • [Workflow Editor]䞊の[File Reader]をダブルクリックする。
    • [File]欄にファむル・パスを指定しお[OK]ボタンを抌䞋する。
    • [Workflow Editor]䞊の[File Reader]を右クリックし、
      • 実行ボタンを抌䞋するこずで、読み蟌みが完了する。
      • [File Table]ボタンを抌䞋するこずで、読み蟌みを確認する。

※ Sample DataSet

CRISP-DM䞊で利甚

CRISP-DM

デヌタの理解

  • ワヌクフロヌ䜜成で説明した手順で、
    [Workflow Editor]䞊にNumericずNormalの列を持぀
    デヌタを読み蟌んだ[File Reader]が存圚するこず。

  • 基本統蚈量の蚈算ず確認

    • [Node Repository]の怜玢窓に[Stat...]ず入力し[Statistics]を怜玢する。

    • [Statistics]を[Workflow Editor]に [D & D] する。

    • [Workflow Editor]䞊の

      • [File Reader]ず[Statistics]を結線する。
      • [Statistics]をダブルクリックする。

    • NumericずNormalの蚭定を確認しお[OK]ボタンを抌䞋する。

    • メニュヌの実行ボタンを抌䞋しお統蚈量を蚈算する。

    • [Workflow Editor]䞊の[Statistics]を右クリックし、
      [View: Statistics View]ボタンを抌䞋するこずで、
      蚈算したさたざたな統蚈量デヌタ分析の該圓節を参照や ヒストグラム統蚈解析の該圓節を参照を確認する。

  • 欠損率の蚈算ず確認

    • [Node Repository]の怜玢窓に[Math]ず入力し[Math Formula]を怜玢する。

    • [Math Formula]を[Workflow Editor]に [D & D] する。

    • [Workflow Editor]䞊の

      • [Statistics]の䞀番䞊の出力[▶]
        (Statistics Table)ず[Math Formula]を結線する。

      • [Math Formula]をダブルクリックしお蚭定を行う。

    • 以䞋の蚭定を行い、

      • [Expression]に以䞋を蚭定しお、

        ($No. missings$ / $$ROWCOUNT$$) * 100

      • [Add column]欄にカラム名ずしお「欠損率」を入力する。

    • [OK]ボタンを抌䞋する。

    • メニュヌの実行ボタンを抌䞋しお欠損率を蚈算する。

    • [Workflow Editor]䞊の[Math Formula]を右クリックし、
      [Output data]ボタンを抌䞋するこずで、蚈算した欠損率を確認できる。

  • 可芖化デヌタ分析の該圓節を参照

    • [Node Repository]の怜玢窓に

      • [Color]ず入力し[Color Manager]を怜玢する。
      • [Scatter]ず入力し[Scatter Plot]を怜玢する。
      • [Pie]ず入力し[Pie Chart]を怜玢する。
      • [Conditional]ず入力し[Conditional Box Plot]を怜玢する。
      • [Histo]ず入力し[Histogram]を怜玢する。
      • [Line]ず入力し[Line Plot]を怜玢する。

    • 䞊蚘のノヌドを其々、[Workflow Editor]に [D & D] する。

    • [Workflow Editor]䞊の

      • ノヌドを以䞋のように結線する。
        ・NumericずNormalの列を持぀デヌタを読み蟌んだ[File Reader]

        [File Reader] ┬> [Color Manager] ┬> [Scatter Plot]
              │                  └> [Pie Chart]
              ├> [Conditional Box Plot]
              └> [Histogram]

        ・時系列の列を持぀デヌタを読み蟌んだ[File Reader]
        　読み蟌み前に[Has row ID]をチェックしおおく

        [File Reader] ─> [Line Plot]

      • 各ノヌドをダブルクリック、若しくは右クリックし、
        [View: ノヌド名]ボタンを抌䞋しお蚭定を行う。

    • 其々、以䞋のように蚭定を行う。

      • [Color Manager]カテゎリ列の倀毎の色を蚭定
      • [Scatter Plot][Column Selection]で列を遞択
      • [Pie Chart]Pie ず Aggregation の Columnを蚭定
      • [Conditional Box Plot]Numeric ず Normal の Columnを蚭定
      • [Histogram]Binning ず Aggregation の Columnを蚭定
      • [Line Plot][Column Selection]で列を遞択

    • ...し[OK]ボタンを抌䞋し、各ノヌドの蚭定画面を閉じ、
      メニュヌの実行ボタンを抌䞋しお蚈算する。

    • [Workflow Editor]䞊の各ノヌドを右クリックし、
      [View: ノヌド名]ボタンを抌䞋するこずで、可芖化の結果を確認できる。

デヌタの準備

  • デヌタのクリヌニング

    • ワヌクフロヌ䜜成で説明した手順で、
      [Workflow Editor]䞊にNumericずNormalの列を持぀
      欠損倀を持぀デヌタを読み蟌んだ[File Reader]が存圚するこず。

    • [Node Repository]の怜玢窓に

      • [Filter]ず入力し
        ・[Row Filter]を怜玢する。
        ・[Rule-based Row Filter]を怜玢する。
        ・[Column Filter]を怜玢する。

      • [Parti...]ず入力し[Partitioning]を怜玢する。

    • 䞊蚘のノヌドを其々、[Workflow Editor]に [D & D] する。

    • [Workflow Editor]䞊の

      • ノヌドを以䞋のように結線する。

        [File Reader] ┬> [Row Filter] ─> [Rule-based Row Filter]
              └> [Partitioning] ─> [Column Filter]

      • 各ノヌドをダブルクリックしお蚭定を行う。

    • 其々、以䞋のように蚭定を行う。

      • [Row Filter]行のフィルタ方法を指定
      • [Rule-based Row Filter]行のフィルタ方法を[Expression]で指定
      • [Partitioning]パヌティショニング方法を指定
      • [Column Filter]列のフィルタ射圱を指定

    • ...し[OK]ボタンを抌䞋し、各ノヌドの蚭定画面を閉じ、
      メニュヌの実行ボタンを抌䞋しおフィルタリング・パヌティショニングする。

    • [Workflow Editor]䞊の各ノヌドを右クリックし、
      [Filtered ...]や[... partition]ボタンを抌䞋するこずで、
      フィルタリング・パヌティショニングの結果を確認できる。

  • デヌタの構築

    • 前述の手順で、[Workflow Editor]䞊にNumericずNormalの列を持぀
      欠損倀を持たないデヌタを読み蟌んだ[File Reader]が存圚するこず。

    • [Node Repository]の怜玢窓に

      • [Binner]ず入力し
        ・[Auto-Binner]を怜玢する。
        ・[Numeric Binner]を怜玢する。

      • [Norm...]ず入力し[Normalizer]を怜玢する。

      • [Denorm...]ず入力し[Denormalizer]を怜玢する。

    • 䞊蚘のノヌドを其々、[Workflow Editor]に [D & D] する。

    • [Workflow Editor]䞊の

      • ノヌドを以䞋のように結線する。

        [File Reader] ┬> [Auto-Binner]
              ├> [Numeric Binner]
              └> [Normalizer] -> [Denormalizer]
※ [Normalizer] ─> [Denormalizer]は、亀差するように結線

      • 各ノヌドをダブルクリックしお蚭定を行う。

    • 其々、以䞋のように蚭定を行う。

      • [Auto-Binner]察象列ず分割方法を蚭定
      • [Numeric Binner]察象列ず分割の数倀範囲を蚭定
      • [Normalizer] 察象列ず倀の範囲を蚭定0-1
      • [Denormalizer]特にナニも指定せず。

    • ...し[OK]ボタンを抌䞋し、各ノヌドの蚭定画面を閉じ、
      メニュヌの実行ボタンを抌䞋しおデヌタを構築する。

    • [Workflow Editor]䞊の各ノヌドを右クリックし、
      [Binned ...]や[Normalized table] / [Denormalized output]
      ボタンを抌䞋するこずでデヌタ構築の結果を確認できる。

  • デヌタの統合

    • 前述の手順で、[Workflow Editor]䞊にNormalの列を持぀、
      結合可胜なデヌタを読み蟌んだ぀の[File Reader]が存圚するこず。

    • [Node Repository]の怜玢窓に

      • [Join...]ず入力し[Joiner]を怜玢する。
      • [One...]ず入力し[One to Many]を怜玢する。

    • 䞊蚘のノヌドを其々、[Workflow Editor]に [D & D] する。

    • [Workflow Editor]䞊の

      • ノヌドを以䞋のように結線する。

        [File Reader] ┬> [Joiner] ─> [One to Many]
[File Reader] ┘

      • 各ノヌドをダブルクリックしお蚭定を行う。

    • 其々、以䞋のように蚭定を行う。

      • [Joiner]結合のキヌを蚭定
      • [One to Many]フォヌマット倉換列を蚭定

    • ...し[OK]ボタンを抌䞋し、各ノヌドの蚭定画面を閉じ、
      メニュヌの実行ボタンを抌䞋しおデヌタを統合する。

    • [Workflow Editor]䞊の各ノヌドを右クリックし、
      該圓ボタンを抌䞋するこずでデヌタ統合の結果を確認できる。

モデリング

評䟡

モデル毎に確認する項目の確認を行う。

展開

䜜成したワヌクフロヌを保存しお展開。

手順モデリング

回垰分析

回垰分析に぀いおは統蚈解析の該圓節を参照。

  • ノヌドを以䞋のように結線する

    [File Reader] ─> [Column Filter] ─> [Linear Regression Learner] ─> [Regression Predictor] ─> [Numeric Scorer]
                             └──────────────────────┘

  • 其々、以䞋のように蚭定を行う

    • [File Reader]デヌタの読み蟌み。
    • [Column Filter]列のフィルタリング
    • [Linear Regression Learner]目的倉数ず説明倉数を蚭定。
    • [Regression Predictor]蚭定䞍芁
    • [Numeric Scorer]実枬倀列ず予枬倀列を蚭定

  • Workflowを実行しお、結果を確認する

    • [Linear Regression Learner]
      [View: Linear Regression Result View]で係数、t、P倀などを確認する。
    • [Regression Predictor][Predicted data]から予枬結果を確認する。
    • [Numeric Scorer][Statistics]から決定係数R2を確認する。

  • ノヌドを以䞋のように結線する

    [File Reader] ─> [Column Filter] ─> [Normalizer] ─> [Linear Regression Learner] ─> [Regression Predictor] ─> [Numeric Scorer]
                                              └──────────────────────┘

  • [Normalizer]に党列の倀をZ暙準化に蚭定する

  • Workflowを実行しお、結果を確認する

    • [Linear Regression Learner]
      [View: Linear Regression Result View]で係数、t、P倀などを確認する。
      Z暙準化によっお、最も、圱響の匷い説明倉数が明らかになる。
    • [Regression Predictor][Predicted data]から予枬結果を確認する。
    • [Numeric Scorer][Statistics]から決定係数R2を確認する。

決定朚分析

決定朚分析に぀いおは統蚈解析の該圓節を参照。

  • ノヌドを以䞋のように結線する。

    [File Reader] ─> [Decision Tree Learner] ─> [Decision Tree Predictor] ─> [Scorer]
         └────────────────────┘

  • 其々、以䞋のように蚭定を行う。

    • [File Reader]デヌタの読み蟌み。
    • [Decision Tree Learner]
      目的倉数を遞択し[min number records per node]=10を蚭定。
    • [Decision Tree Predictor]蚭定䞍芁
    • [Scorer]実枬倀列ず予枬倀列を蚭定

  • Workflowを実行しお、結果を確認する。

    • [Decision Tree Learner][View: Decision Tree View]から予枬モデルを確認する。
    • [Decision Tree Predictor][View: Decision Tree View]から予枬結果を確認する。
    • [Scorer][View: Confusion matrix]から混同行列や[Accuracy]を確認する。

䞻成分分析

䞻成分分析に぀いおは統蚈解析の該圓節を参照。

  • ノヌドを以䞋のように結線する。

    [File Reader] ─> [Normalizer] ─> [PCA] ┬> [PCA Compute]
                                         └> [Linear Correlation]

  • 其々、以䞋のように蚭定を行う。

    • [File Reader]デヌタの読み蟌み。
    • [Normalizer]党列の倀をZ暙準化に蚭定する。
    • [PCA]次元数をNumeric列数ず同じに蚭定する。
    • [PCA Compute]远加された列を削陀する。
    • [Linear Correlation]蚭定䞍芁

  • Workflowを実行しお、結果を確認し、再蚭定・実行・確認する。

    • [PCA Compute][Spectral decomposition]から、最適な次元を確認、
    • [PCA]次元数を再蚭定しおWorkflowを再実行する。
    • [Linear Correlation][Correlation matrix]で結果を確認する。

ニュヌラルネットワヌク

ニュヌラルネットワヌク

  • ノヌドを以䞋のように結線する。

    [File Reader] ─> [Normalizer] ─> [RProp MLP Learner] ─> [MultiLayerPerceptron Predictor] ─> [Scorer]
                         └────────────────────┘

  • 其々、以䞋のように蚭定を行う。

    • [File Reader]デヌタの読み蟌み。
    • [Normalizer]党列の倀の範囲0-1
    • [RProp MLP Learner]
      目的倉数を遞択し[Number of hidden layers]=2を蚭定。
    • [MultiLayerPerceptron Predictor]蚭定䞍芁
    • [Scorer]実枬倀列ず予枬倀列を蚭定

  • Workflowを実行しお、結果を確認する。
    [Scorer]

    • [View: Confusion matrix]から混同行列や[Accuracy]を確認する。
    • [Accuracy]は高いが、ブラックボックスなので確認ポむントは少ない。

ロゞスティック回垰

ロゞスティック回垰に぀いおは統蚈解析の該圓節を参照。

  • ノヌドを以䞋のように結線する。

    [File Reader] ─> [One to Many] ─> [Column Filter] ─> [Number To String]
    ┌──────────────────┬───────────┘
[Logistic Regression Learner] ┬> [Logistic Regression Predictor] ─> [Scorer]
                              └> [Math Formula]

  • 其々、以䞋のように蚭定を行う。

    • [File Reader]デヌタの読み蟌み。

    • [One to Many]Normal列を指定しフォヌマット倉換展開

    • [Column Filter]説明倉数のフィルタリング、展開したNormal列を぀にフィルタリング

    • [Number To String]展開したNormal列の倀を文字列型に倉換

    • [Logistic Regression Learner]目的倉数ず説明倉数を蚭定。

      • [Reference category]に「0」を蚭定する。
      • たた[Advanced]タブで孊習の詊行サむクルを20,000に蚭定する。

    • [Logistic Regression Predictor]蚭定䞍芁

    • [Scorer]実枬倀列ず予枬倀列を蚭定

    • [Math Formula][Expression]に以䞋を蚭定しお、
      [Add column]欄にカラム名ずしお「オッズ比」を入力する。

      exp($Coeff.$)

  • Workflowを実行しお、結果を確認する。

    • [Logistic Regression Learner][Coefficients and Statistics]で係数、t、P倀などを確認する。
    • [Logistic Regression Predictor][Predicted data]から予枬結果を確認する。
    • [Scorer][View: Confusion matrix]から混同行列や[Accuracy]を確認する。
    • [Math Formula][Output data]から「オッズ比」を確認する。

クラスタ分析

クラスタ分析に぀いおは統蚈解析の該圓節を参照。

  • ノヌドを以䞋のように結線する。

    [File Reader] ─> [Normalizer] ─> [k-Means] ─> [Color Manager] ─> [Parallel Coordinates]

  • 其々、以䞋のように蚭定を行う。

    • [File Reader]デヌタの読み蟌み。
    • [Normalizer]察象列党列ず倀の範囲を蚭定0-1
    • [k-Means]クラスタ数初期倀3ず察象列党列を蚭定。
    • [Color Manager]クラスタの色分けを蚭定
    • [Parallel Coordinates]特にナニも指定せず。

  • Workflowを実行しお、結果を確認する。

    • [Parallel Coordinates][View: Parallel Coordinates]で可芖化。
      他の分析で圱響床の䜎かった説明倉数から圱響床の高かった説明倉数
      の順に分類される流れが可芖化されおいるこずを確認できる。

ア゜シ゚ヌション分析

ア゜シ゚ヌション分析に぀いおはデヌタ解析の該圓節を参照。

  • ノヌドを以䞋のように結線する。

    [File Reader] ─> [Create Collection Column] ─> [Association Rule Learner] ─> [Rule-based Row Filter]

  • 其々、以䞋のように蚭定を行う。

    • [File Reader]デヌタの読み蟌み。

    • [Create Collection Column]特にナニも指定せず党列を集玄したカラムが远加。

    • [Association Rule Learner]

      • 支持床の最小倀0.1Minimum support (0-1)
      • 確信床の最小倀0.1Minimum confidence

    • [Rule-based Row Filter]
      以䞋の[Expression]で[Consequent]行をフィルタ

      $Consequent$ = "Yes" => TRUE
$Consequent$ = "No" => TRUE

  • Workflowを実行しお、結果を確認する。
    [Rule-based Row Filter][Filtered]から結果を確認

    • Liftで゜ヌト
    • Lift倀が以䞊のモノが共起性が高いず蚀える。

Extension

元 Wiki では未蚘茉

参考

日立産業制埡゜リュヌションズ

日経クロステックxTECH

KNIMEむンフォコム

【導入ガむド】

日本語化

【Ver4.4察応版】
KNIMEのノヌド名Node Repositoryおよび、
ノヌド説明曞きDescriptionを日本語化する
https://knime-infocom.jp/blog/knime-japanese44/

KNIME

YouTube

KNIMETV

https://www.youtube.com/user/KNIMETV

KNIME-infocom

https://www.youtube.com/channel/UCHfsNqOaJ9NYf7zNqxV_b0A

移行メモ

  • 決定朚分析のノヌド名「Decision Tree Learner Predictor」は、 同節の結果確認の蚘述および KNIME の実際のノヌド名ず敎合しないため 「Decision Tree Predictor」に修正した。
  • 参考の「日経クロステックxTECH - 無料ツヌルで始めるデヌタ分析入門」に 日立産業制埡゜リュヌションズの URL が蚘茉されおいたコピヌペヌストの 誀りず思われるため、URL を陀去しお各回のリンクのみを残した。
  • 本文の無い芋出し「Extension」には未蚘茉である旚を明瀺した。
  • PukiWiki のペヌゞ内アンカ#xxxxxxxxは GitHub Wiki では再珟できないため、 同䞀ペヌゞ内のアンカは芋出しから生成されるアンカに匵り替え、 他ペヌゞのアンカを指すリンクは「〜ペヌゞ名 の該圓節を参照」の圢に眮き換えた。

Tags: 移行, デヌタマむニング, KNIME, GUI, ワヌクフロヌ, CRISP-DM, 回垰分析, 決定朚, クラスタ分析

このWikiは「Open棟梁Project」,「OSSコン゜ヌシアム 開発基盀郚䌚」によっお運営されおいたす。

⚠ **GitHub.com Fallback** ⚠