AI・機械学習

LiteLLM(らいとえるえるえむ)

いろいろな AI の API を同じ形で呼べるようにする、オープンソースの中継ソフト。

概要

各社で形の違う AI の API を、OpenAI と同じ形にそろえて呼べるようにするソフト。自分のサーバーに置いて、鍵の管理・使いすぎの上限・利用記録をまとめて扱える。このサイトの自動処理も、多くのモデル呼び出しを LiteLLM 経由で行っている。