API エラーコード 503: 現在、推論エンジンに過負荷がかかっています

「The engine is currently overloaded, please try again later」というメッセージを伴う 503 エラーは、Serverless Inference サーバーへのトラフィックが集中しており、現在はリクエストを処理できないことを意味します。このページでは、このエラーが発生する理由と、その軽減方法について説明します。

この事象が発生する理由

需要が高い時間帯には、推論エンジンが一時的に過負荷になることがあります。通常はトラフィックが落ち着くと自然に解消します。

対処方法

次の対処法を使用して、503 レスポンスから回復し、再度発生する可能性を減らしてください。

• 少し時間を置いてから再試行する:
  • リクエストを再試行する前に、数秒待ってください。
  • 混雑を悪化させないよう、指数バックオフを使用してください。
• リクエストを分散させる:
  • 多数のリクエストを送信している場合は、時間を空けて送ってください。
  • リクエストのキューイングを実装して、トラフィックの急増を緩和してください。

---

サーバー エラー