資料の紹介

　AI（人工知能）、とりわけ生成AIは今や、企業がビジネスを成長させるために欠かせないテクノロジーになった。だが、その実行にはときに膨大なコンピューターリソースが必要になり、それらをいかにして運用・管理するかが、大きな課題となる。例えばディープラーニングのAIモデルで推論の精度を高めるには、大量のデータでモデルを訓練する必要がある。

　オンライン広告プラットフォームを運営する米Taboolaもこの課題に直面した。同社は世界に10カ所あるデータセンターで計1万台以上のサーバーを稼働させており、AIのアルゴリズムに基づいて、個々のユーザーの興味をひきそうなレコメンデーション（お薦め）コンテンツを毎秒50万件生成している。だが、その運用に携わるスタッフはわずか15人というから驚きだ。

　本資料では、Taboolaが15人のスタッフで1万台超のサーバーを運用するという課題をどのようにしてクリアしたかを紹介する。AIベースの推論に利用しているサーバー群と、それらに搭載されている遠隔管理機能、HPCクラスターの構築と活用、独自の生成AIアプリケーションを開発・運用するコンテナ環境などについて言及している。

この先は日経クロステック Active会員の登録が必要です

日経クロステック Activeは、IT／製造／建設各分野にかかわる企業向け製品・サービスについて、選択や導入を支援する情報サイトです。製品・サービス情報、導入事例などのコンテンツを多数掲載しています。初めてご覧になる際には、会員登録（無料）をお願いいたします。