yolo_inward_day_event_screening_v2_2025_06_03 model test log - Teatis/dotsfty-docs GitHub Wiki

ゴール

• Improve holding something AP score

データセット

• どのデータセットを学習させたかについてlinkお願いします　@james

データセットの作り方

• dashcam_eventsのテーブルから2025/4/1-2025/4/30 の期間でis_valid = fales で event = holding something になっているものを目視チェックしholding something / not holding / no driver に分類。その中からハードネガティブあたる事例をピックアップして学習を強化 ** 作り方の部分描き直す　@james

Logic 変更があるか

• なし

current モデルとの精度比較

検証用データセット：未学習の2025/5/1-2025/5/26 の期間を同様に分類し精度検証

既存のデータセットの比較ではcurrent モデルに対してはやや性能低下が見られたが5月の未学習のデータセットでの性能の向上が大きかったためそちらを重視して変更の判断

結果としては、minconf 0.4 / presence 0.2同士を比較したところ下記の通りnot holding を大きく引き下げることができた

Metric	Current Model	New Model	Δ Change
Holding something precision	579 / 600 ⇒ 96.5 %	565 / 600 ⇒ 94.2 %	−2.3 pp
Not holding precision	(1404 − 1178) / 1404 ⇒ 16.1 %	(1404 − 603) / 1404 ⇒ 57.1 %	＋41.0 pp