資料の紹介
近年、生成AIや大規模言語モデルの活用が盛んになり、AIモデルの規模は巨大化している。そのため、AIの学習・推論を実行する上でGPU（画像処理半導体）のメモリーを上限まで使い切っていることが多く、さらなる速度向上が難しくなっている。
例えば中規模な言語モデルでも、AIモデルの精度の維持を優先すると、学習・推論などのAI処理を行うGPUのメモリーが不足し、高速化が難しくなっている例は多い。これを解消する方法として、メモリー容量を拡大した最新のGPUに置き換える手がある。しかし、その効果を最大限に引き出すには、増加したメモリーをどこに割り当て、どのような設定変更を行うかを見極め、速度向上とメモリー消費のトレードオフに配慮しつつ最適化を実施する、地道な作業が不可欠となる。
本資料では、メモリー容量が拡大された最新GPUを使う際の、AI処理の性能向上策を解説する。まずAI高速化／GPU高速化に臨む際に重要となる計測指標について説明し、速度向上のための施策とその効果を提示する。最新GPUに置き換えるだけでは投資に見合う効果は得られない。効果を最大化するための最適化を効率的に行えるソフトウエアと、その手順を紹介する。
