Skip to content

Artifact ​

RunのArtifactsタブで音声ファイルを開いた画面

Artifactは、Projectに保存したファイルです。学習の重み、推論で作った音声、評価結果のjsonl、データセットの本体など、記録したいファイルはすべてArtifactとして保存します。

Artifactは、Projectで選んだ保存先(ファイルシステムかS3互換ストレージ)に置かれます。SDKやworkerはAPIを経由して読み書きするため、ストレージの認証情報を配る必要はありません。保存先の設定は保存先の設定を参照してください。

こんなときに向いています ​

  • 学習で作った重みやcheckpointを、Runと結び付けて残したい
  • 推論で作った音声を、ブラウザで波形を見ながら聴きたい
  • Projectのどこかに保存した音声を、パスや種類で探したい
  • 不要になった大きなファイルを消して、容量を空けたい

Artifactのパスとバージョン ​

ArtifactはRunごとのパス(例: data/vowel-a.wav、checkpoints/step-1000/model.pt)で管理します。同じRunの同じパスにもう一度保存すると、新しいArtifactとして保存し、そのパスで表示されるものを新しいほうに切り替えます。前のファイルは「以前のバージョン」として残り、上書きされません。

Runに属さないArtifactもあります。データセットのフォルダから作ったバージョンのファイル、[Models]や[Code]の画面からアップロードしたファイルです。

保存時に、ファイル全体のSHA-256とサイズを記録します。1件の上限は既定で200 GiBです(環境変数MMT_ARTIFACT_MAX_BYTESで変更できます)。

RunのArtifactを見る ​

Runの詳細画面で[Artifacts]タブを開きます。左にファイルの一覧、右に選んだファイルのプレビューが表示されます。

  • 一覧の上の「ルート」から始まるパンくずで、フォルダの階層を移動します
  • フォルダの行には、中のファイル数と合計サイズ(例:「6件 · 125.6 KiB」)が表示されます
  • フォルダが先に並び、名前の中の数字は数値として並べます(step-9はstep-19より前)
  • ファイルは200件ずつ読み込みます。続きは[続きを読み込む]で表示します
  • 行のダウンロードのアイコンで、ファイルをダウンロードします

開いているフォルダはURLに残るので、再読み込みしたりブラウザの戻るボタンを押したりしても同じフォルダに戻ります。

プレビューの右上のダウンロードのアイコンで、開いているファイルをダウンロードします。モデルバージョン・データセットのバージョン・コードバージョン・checkpointから使われているファイルには、プレビューの下に「使われている場所」が出ます。名前を押すと、使っている側のページへ移ります。

プレビューの[詳細]を開くと、Artifact ID、SHA-256、保存先の名前と、同じパスの「以前のバージョン」(最大100件)が表示されます。以前のバージョンを選ぶとそのファイルをプレビューし、[最新のバージョンに戻る]で最新に戻ります。

Runにまだファイルが1つも無いときは、右に「このRunにはまだArtifactがありません」と、追加のしかたを表示します。

編集権限があるユーザーには[Artifactをアップロード]が表示されます。アップロードの手順は大きなファイルのアップロードを参照してください。

Project全体から探す ​

ProjectのArtifacts画面

サイドバーの[Artifacts]を開くと、ProjectのすべてのArtifactを検索できます。

条件指定できる値
検索保存パスに含まれる文字列(200文字まで)
種類すべての種類、音声、画像、動画、テキスト、その他のファイル
RunすべてのRun、または最近のRun(200件まで)
モデルすべてのモデル、または特定のモデル。モデルを選ぶと[モデルバージョン]でも絞り込めます
以前のバージョンも表示オンにすると、新しいファイルに置き換わった古いバージョンも表示します

結果は「保存パス」「所属」「種類」「サイズ」「作成日時」の表で、100件ずつ表示されます。検索条件はURLに残るため、URLを共有すると同じ結果を開けます。

  • 所属: Runのファイルは、そのRunへのリンクです。Runに属さないファイルは、使っているデータセットのバージョン(「データセット 〈名前〉 / 〈バージョン〉」)、モデルバージョン、コードバージョンへのリンクです。[フォルダから作る]が途中で止まって残ったファイルは「データセット 〈名前〉 途中のアップロード」、どれにも当たらないものは「Runなし」です
  • 種類: 「音声 · wav」「テキスト · csv」のように書きます。元の形式(MIMEタイプ)は、マウスを重ねると出ます

ファイルを選ぶと、Runの[Artifacts]タブと同じプレビュー、ダウンロード、使われている場所、[詳細]が出ます。Project adminには[⋯]も出ます。

プレビューできる形式 ​

種類形式表示
テキストtext/plain、JSON1 MiBまで表示します。1 MiBを超えるファイルは先頭の1 MiBだけを表示し、そのことと[ダウンロード]を上に表示します
表CSV、TSV、JSON Lines16 MiBまでを表にします。見出しは固定され、列の見出しを押すと並べ替えます(もう一度で逆順、3回目でファイルの順)。1,000行を超えるときは先頭の1,000行を表示します。並べ替えはすべての行が対象です
評価サンプル表のうち、audioの列か、referenceとpredictionの列を持つもの50行ずつ表示します。スマホの幅では1サンプル1枚のカードで表示します
画像PNG、JPEG、WebP、AVIF、GIF枠に合わせて表示します。[原寸で表示]か画像のクリックで原寸に切り替え、枠の中でスクロールします
音声WAV、FLAC、MP3、Ogg、Opus、M4A(AAC)、WebM音声ビューアで波形とスペクトログラムを表示します
動画MP4、WebM、QuickTimeブラウザのプレーヤーで再生します

表は[表示形式]で「表」と「自動」「テキスト」などを切り替えられます。読み取れない行だけのファイルは、テキストで開きます。CSVは引用符(")で囲んだ値の中のカンマや改行を値として読みます。TSVは引用符を特別に扱わず、1行を1つの行としてタブで区切ります。16 MiBを超えるCSV・TSV・JSON Linesは表にせず、先頭の1 MiBをテキストで表示します。

ほかの形式は、「この形式はダウンロードして確認してください。」と[ダウンロード]を表示します。HTML、SVG、XMLのファイルはプレビューせず、ダウンロードとして扱います。

アップロード時にMIMEタイプが指定されていない場合は、拡張子からMIMEタイプを判定します(wav、flac、mp3、ogg、opus、m4a、aac、webm、mp4、mov、png、jpg、webp、avif、gif、csv、tsv、jsonl、txt、npy、parquet)。

評価結果は、1行にaudio、reference、prediction、scoreを持つjsonlで保存すると、評価サンプルの表として読みやすく表示されます。referenceとpredictionは数値や真偽値でもかまいません。書かれたとおりの文字で表示し、差分の強調は両方が文字列のときだけ行います。読み取れない行は「読み取れない行」に行番号と理由が表示されます。

Runどうしで比べる ​

Compareの画面の[Artifacts]タブでは、複数のRunの同じパスのファイルを並べて表示します。音声には[同じ位置から再生]があり、Runを切り替えても同じ再生位置から聴き比べられます。stepごとの音声・画像の比較はメディアの記録を参照してください。

削除と回収 ​

Artifactを削除できるのは、Project adminだけです。

  1. Runの[Artifacts]タブか、サイドバーの[Artifacts]で、削除するファイルを開きます
  2. プレビューの右上の[⋯](ファイルの操作)から[削除]を選びます
  3. 確認ダイアログ「Artifactを削除」で[削除]を押します

削除すると「〈保存パス〉を削除しました。」と出て、プレビューは空に戻ります。削除したArtifactは、一覧、検索、ダウンロードからすぐに消えます。同じパスに以前のバージョンがあれば、それが表示されるようになります。画面から元に戻す操作はありません。

保存先にあるファイルの本体は、すぐには消えません。削除から猶予期間(既定7日、環境変数MMT_ARTIFACT_DELETE_GRACE_DAYS)が過ぎたあと、APIが10分ごとに回収して保存先から消します。誤って削除した場合は、猶予期間のうちに管理者に連絡してください。ファイルの本体を保存先から退避できます。

次のものから参照されているArtifactは、削除できません。[⋯]の[削除]は押せず、「使われているため削除できません」と出ます。プレビューの「使われている場所」から参照している側を開き、先に片付けてから削除します。

  • 登録したモデルバージョンの重み(MLflowで登録したモデルのファイルを含む)
  • Code画面のコードバージョン(保存したzip・tar、SingularityやApptainerのイメージ)
  • データセットバージョンのファイル
  • 保持しているcheckpoint、または再開に使ったcheckpoint

古いバージョンのArtifactは自動では削除しません。

MLflow SDKのdelete_artifactsでも同じ規則で削除します。APIではDELETE /api/projects/<Project ID>/artifacts/<Artifact ID>を呼びます。

使用量を確かめる ​

[プロジェクト設定]の上段にある「Artifactの使用量」に、保存先ごとの使用量が表示されます。

列内容
保存先保存先の名前
件数、容量削除していないArtifactの数と合計サイズ(以前のバージョンを含む)
削除待ち削除したが、本体をまだ回収していないもの
参照されていない古いバージョン新しいバージョンに置き換わり、モデルバージョンやデータセットバージョンなどから参照されていないバージョン。削除の候補です

関連するページ ​