Llama 3.1 70B Instruct | Meta Open-Source LLM API

Name: Llama 3.1 70b Instruct API
Brand: meta-llama
Price: 0.4 USD
Availability: InStock

Использование API

Используйте следующие примеры кода для интеграции с нашим API:

from openai import OpenAI

client = OpenAI(
    api_key="YOUR_API_KEY",
    base_url="https://llm.wavespeed.ai/v1"
)

response = client.chat.completions.create(
    model="meta-llama/llama-3.1-70b-instruct",
    messages=[
        {"role": "user", "content": "Hello!"}
    ]
)

print(response.choices[0].message.content)

Описание модели

Meta-Llama llama-3.1-70b-instruct

meta-llama llama-3.1-70b-instruct

Why It Looks Great

Large Language Model architecture for efficient processing
131072 context window for long document handling
Competitive pricing at $0.4/$0.4 per million tokens

Key Features

Context Window: 131072 tokens
Max Output: 4096 tokens
Vision: Supported
Function Calling: Supported

Specifications

Specification	Value
Provider	Meta-Llama
Model Type	Large Language Model (LLM)
Architecture	N/A
Context Window	131072 tokens
Max Output	4096 tokens
Input	Text
Output	Text
Vision	Supported
Function Calling	Supported

Pricing

Token Type	Cost per Million Tokens
Input	$0.4
Output	$0.4

How to Use

Write your prompt — describe the task, provide context, and specify desired output format.
Submit — the model processes your request and returns the response.

API Integration

Base URL: https://llm.wavespeed.ai/v1 API Endpoint: chat/completions Model ID: meta-llama/llama-3.1-70b-instruct

API Usage

Python SDK

from openai import OpenAI

client = OpenAI(
    api_key="YOUR_API_KEY",
    base_url="https://llm.wavespeed.ai/v1"
)

response = client.chat.completions.create(
    model="meta-llama/llama-3.1-70b-instruct",
    messages=[
        {"role": "user", "content": "Hello!"}
    ]
)

print(response.choices[0].message.content)

cURL

curl https://llm.wavespeed.ai/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -d '{
    "model": "meta-llama/llama-3.1-70b-instruct",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

Notes

Model: meta-llama/llama-3.1-70b-instruct
Provider: Meta-Llama

Часто задаваемые вопросы о Llama 3.1 70b Instruct

Сколько стоит Llama 3.1 70b Instruct через API?+

Цены на WaveSpeedAI: $0.40 за миллион входных токенов и $0.40 за миллион выходных токенов. Prompt caching и batch processing тарифицируются отдельно и снижают эффективную стоимость длинных повторяющихся нагрузок.

Каково контекстное окно Llama 3.1 70b Instruct?+

Llama 3.1 70b Instruct поддерживает до 131K токенов контекста и до 4K токенов вывода на запрос.

Совместим ли Llama 3.1 70b Instruct с OpenAI?+

Да. WaveSpeedAI предоставляет Llama 3.1 70b Instruct через OpenAI-совместимый endpoint по адресу https://llm.wavespeed.ai/v1. Направьте официальный OpenAI SDK на этот base URL с ключом API WaveSpeedAI — других изменений в коде не требуется.

Как начать работу с Llama 3.1 70b Instruct?+

Войдите в WaveSpeedAI, создайте API-ключ в Access Keys и отправьте запрос на https://llm.wavespeed.ai/v1/chat/completions с указанным выше model id. Новые аккаунты получают бесплатные кредиты для оценки Llama 3.1 70b Instruct.

Цены