メトリクスの図
記録したmetricsは、stepごとの折れ線の図で確かめられます。図は次の画面に表示します。
| 画面 | 表示されるもの |
|---|---|
| ［Experiments］のRun一覧で［図を表示］ | 検索結果のRunを重ねた図と、探索結果の分析 |
| Runの［Metrics］タブ | そのRunのmetricsの図 |
| Runの［System metrics］タブ | CPU・メモリ・ディスク・ネットワーク・GPUの図（システムメトリクス） |
| ［比較］の［詳細］タブ | 選んだRunを重ねた図 |
こんなときに向いています
- 学習率を変えた複数のRunのlossを重ねて、収束の速さを比べたい
- ノイズの多いlossを平滑化して、傾向をつかみたい
- 何十件もの試行を、batch sizeごとの平均と範囲にまとめて見たい
- 見たい図だけを並べた配置を、チームで共有したい
図を読む
- 凡例の項目を選ぶと、その線を隠したり表示したりできます。隠した線があるときは［すべて表示］で元に戻します。凡例にカーソルを合わせると、その線が強調されます
- 図の上をドラッグすると、その範囲を拡大します。［ズームを戻す］で元の範囲に戻ります
- 線にカーソルを合わせると、その位置の値をRunごとに表示します
- 線は色と線の形（実線・破線・点線・一点鎖線）の両方で見分けられます。色と形はページに表示しているRun全体で決めるので、同じRunはどの図でも同じ色と形です（その図のmetricを記録していないRunがあっても変わりません）。Runが8本までは見分けやすい順に色と形を割り当て、凡例にも同じ形を表示します。9本以上のときは色だけで見分けます。複数のmetricを重ねた図では、色がRunを、線の形がmetricを表します（Runが1つの図では、metricごとに色を分けます）
- キーボードでは、Tabで図を選び、←、→で値を表示する位置を動かします（Home、Endで端へ）。+で表示する位置を中心に拡大し、-で縮小します。Escで値を隠します。Ctrl・Cmd・Altと一緒に押したキーは図では使わず、ブラウザの操作（ページの拡大・縮小、戻る・進む）になります。読み上げソフトでは、各線の最新の値と最小値・最大値を読み上げます
- 再開したRunには「再開」の印が付きます（Runの再開）
長い学習の系列は、サーバーで間引いてから描きます。1系列の点数は最大1,000点で、重ねる線が多いほど少なくなります。間引くときは区間ごとの平均を線にし、最小値と最大値を残すので、一瞬のスパイクも［範囲（最小〜最大）を表示］で確かめられます。拡大すると、その範囲だけを細かく取り直します。NaNや無限大は描きません。
図を設定する
図の右上の設定ボタン（［図を設定］）で、次の項目を変えられます。
| 項目 | 選べる値 |
|---|---|
| タイトル | 空欄ならメトリクス名を表示します |
| 表示するメトリクス | 1つの図に10件まで重ねられます。検索欄で名前を絞り込めます |
| x軸 | Step、経過時間（Runの開始からの秒）、時刻、メトリクス |
| 平滑化 | なし、EMA（指数移動平均）、ガウス、移動平均。［平滑化の強さ］を0〜1で指定します |
| y軸を対数・x軸を対数 | 0以下の値は対数軸に置けないので描かず、描かなかった点の数を図の下に表示します |
| 範囲（最小〜最大）を表示 | 間引いた区間の最小値と最大値を帯で表示します |
| 平滑化前の線を表示 | 平滑化したときに、元の線を薄く重ねます |
x軸を［メトリクス］にすると、［x軸のメトリクス］で選んだ値を横軸にします。たとえばepochを横軸にしたval_lossの図を作れます。同じstepにx軸の値が無い点は描きません。
平滑化はW&Bと同じく点の並び順で計算します。EMAの強さを1にしても、線が新しい値に追従するよう0.999で止めます。強さ1のとき、ガウスは前後およそ60点、移動平均は直前の100点を使います。
図にするRunとグループ化
Run一覧の図の上では、次の2つを選べます。
- ［図にするRun］: 検索結果の上位50件か、一覧で選んだRunか
- ［グループ化］: しない、Tag、Param、Experiment
グループ化すると、［グループ化するキー］の値ごとにRunをまとめ、グループごとの平均の線と、Runの間の最小〜最大の帯をすべての図に描きます。凡例には「（平均）」と付きます。学習が長いRunが平均を占めないよう、区間ごとにRunの平均を出してから、Runの間で平均します。
- 値の無いRunは
(none)のグループに入ります - グループは50個まで、対象のRunは1,000件までです
図パネルを並べる
図は12列の格子に並べます。
- ［図を追加］で新しい図を作ります
- 図の右上の移動ボタンから、上下左右への移動、幅（1/3、1/2、全幅）、［高くする］を選べます
- 削除ボタンで図を外します
- ［既定の配置に戻す］で、最初の配置に戻します
配置はProjectと画面ごとに、このブラウザに保存されます。別のブラウザやほかのメンバーと同じ配置を使うには、Run一覧で保存ビューに保存します。保存ビューには図パネルの配置とグループ化も入ります。