Ana içeriğe atla

​
Genel Bakış

LiteLLM ve AI Sonar genelde iki şekilde birlikte kullanılır.
  • AI Sonar’yı LiteLLM arkasında OpenAI uyumlu upstream olarak kullanmak
  • sanal anahtarlar, ek yönlendirme veya merkezi gözlemlenebilirlik için LiteLLM’yi AI Sonar’nın önüne koymak
AI Sonar için en temiz varsayılan yol, LiteLLM’nin custom OpenAI / OpenAI uyumlu modunu kullanıp api_base = https://api.aisonar.dev/v1 ayarlamaktır.
Açıkça Claude-native veya Gemini-native request shape ihtiyacınız varsa, bu akışları LiteLLM’nin OpenAI uyumlu soyutlamasına zorlamak yerine AI Sonar’nın native entegrasyonlarını tercih edin.
Tür: Framework veya platformBirincil yol: OpenAI uyumlu upstreamDestek seviyesi: Desteklenen yol

​
Kurulum

pip install 'litellm[proxy]'

​
Proxy yapılandırması

model_list:
  - model_name: aisonar-gpt-5.4
    litellm_params:
      model: custom_openai/gpt-5.4
      api_base: https://api.aisonar.dev/v1
      api_key: os.environ/OPENAI_API_KEY
Başlatma: 
export OPENAI_API_KEY="sk-your-api-key"
litellm --config litellm-config.yaml --port 4000

​
En iyi uygulamalar

  • AI Sonar’yı önce custom_openai upstream olarak ele alın
  • LiteLLM’yi yalnızca gerçekten ek bir gateway katmanına ihtiyaç duyuyorsanız öne koyun
  • OpenAI uyumlu yol üzerinde her sağlayıcıya özgü ayrıntının otomatik olarak çalışacağını varsaymayın