資料の紹介
ディープラーニング(深層学習)に基づくAIや生成AIを業務に活用する動きはますます活発化し、大手IT企業も次々と、AIをクラウドで利用できるサービスを投入している。こうした「クラウドAI」はハードウエアの調達が不要で手軽に始められるのが利点だが、その半面、本格的に使い始めようとするとセキュリティやデータ転送コストが課題になってくることがある。
自前でハードウエアを準備し、様々な業務の現場で発生したデータを使ってAIモデルを訓練し推論処理を実行することで、こうした課題は解決できる可能性がある。だが、AI処理に用いられるGPU(画像処理装置)は現在、需給が逼迫しており、十分な数を確保することは難しい状況だ。
本資料では、最新CPU(中央演算処理装置)を搭載したサーバーにAI処理用のエンジンを組み合わせることで、状況によってはGPUだけの構成以上にAI向けインフラを最適化できることを示す。想定されるユースケースのほか、様々な学習/推論モデルを使った性能評価データも紹介。GPUの使用効率を高めることで、運用コストも削減できるとしている。





