Question#33(MLS-C01)
データサイエンティストは画像の物体検出タスク向けにディープラーニングのニューラルネットワークを実装しています。計算時間を最適化するハイパーパラメータを見つけるため、多数のチューニングジョブを並列に試したいと考えています。 成績の悪い試行は打ち切り、有望な設定により多くの計算資源を配分する必要があります。チューニング対象は SGD の学習率（learning rate）、モーメンタム（momentum）、エポック数（epoch）、ミニバッチサイズです。
この要件を最小の計算時間で満たす手法はどれですか？正解：D
Hyperband は「逐次削減（Successive Halving）」に基づき、少ない資源（例：エポック数）で多数の候補を素早く評価し、成績の悪い試行を早期打ち切り、良いものにのみ資源（エポックやステップ）を追加配分していく探索手法です。多数の並列試行で「計算時間を最小化」しつつ良い設定を見つける要件に最も合致します。SageMaker の自動モデルチューニング（AMT）でも Hyperband 戦略がサポートされ、resource_attribute として エポックやステップを指定して段階的に資源投入できます。
コメント