Llama 3.1 8B Instruct | Meta Lightweight LLM API

Name: Llama 3.1 8b Instruct API
Brand: meta-llama
Price: 0.02 USD
Availability: InStock

meta-llama/llama-3.1-8b-instruct

Data publikacji: 2024-07-23

16,384 context · $0.02/M input tokens · $0.05/M output tokens

Meta's latest class of model (Llama 3.1) launched with a variety of sizes & flavors. This 8B instruct-tuned version is fast and efficient. It has demonstrated strong performance compared to...

Cennik

Płać za użycie

Bez kosztów początkowych, płacisz tylko za to, czego używasz

Wejście$0.02 / M Tokens

Wyjście$0.05 / M Tokens

Wypróbuj model

meta-llama/llama-3.1-8b-instruct

Online

Cześć! Jestem pomocnym asystentem AI. W czym mogę pomóc?

Gotowe użyć tego modelu w lokalnym coding agent?Konfiguracja agenta

Użycie API

Użyj poniższych przykładów kodu, aby zintegrować się z naszym API:

import OpenAI from 'openai';

if (!process.env.WAVESPEED_API_KEY) throw new Error('Set WAVESPEED_API_KEY');
const client = new OpenAI({
  apiKey: process.env.WAVESPEED_API_KEY,
  baseURL: 'https://llm.wavespeed.ai/v1',
  timeout: 120_000,
  maxRetries: 2,
});

try {
  const response = await client.chat.completions.create({
    model: 'meta-llama/llama-3.1-8b-instruct',
    messages: [{ role: 'user', content: 'Hello!' }],
  });
  console.log(response.choices[0]?.message?.content ?? '');
} catch (error) {
  console.error('LLM request failed:', error);
  process.exitCode = 1;
}

import OpenAI from 'openai';

if (!process.env.WAVESPEED_API_KEY) throw new Error('Set WAVESPEED_API_KEY');
const client = new OpenAI({
  apiKey: process.env.WAVESPEED_API_KEY,
  baseURL: 'https://llm.wavespeed.ai/v1',
  timeout: 120_000,
  maxRetries: 2,
});

try {
  const response = await client.chat.completions.create({
    model: 'meta-llama/llama-3.1-8b-instruct',
    messages: [{ role: 'user', content: 'Hello!' }],
  });
  console.log(response.choices[0]?.message?.content ?? '');
} catch (error) {
  console.error('LLM request failed:', error);
  process.exitCode = 1;
}

Wprowadzenie do modelu

Meta-Llama llama-3.1-8b-instruct

Meta's latest class of model (Llama 3

Meta's latest class of model (Llama 3.1) launched with a variety of sizes & flavors. This 8B instruct-tuned version is fast and efficient.

It has demonstrated strong performance compared to leading closed-source models in human evaluations.

To read more about the model release, click here. Usage of this model is subject to Meta's Acceptable Use Policy.

Why It Looks Great

Large Language Model architecture for efficient processing
16384 context window for long document handling
Competitive pricing at $0.0/$0.0 per million tokens

Key Features

Context Window: 16384 tokens
Max Output: 16384 tokens
Vision: Supported
Function Calling: Supported

Specifications

Specification	Value
Provider	Meta-Llama
Model Type	Large Language Model (LLM)
Architecture	N/A
Context Window	16384 tokens
Max Output	16384 tokens
Input	Text
Output	Text
Vision	Supported
Function Calling	Supported

Pricing

Token Type	Cost per Million Tokens
Input	$0.0
Output	$0.0

How to Use

Write your prompt — describe the task, provide context, and specify desired output format.
Submit — the model processes your request and returns the response.

API Integration

Base URL: https://llm.wavespeed.ai/v1 API Endpoint: chat/completions Model ID: meta-llama/llama-3.1-8b-instruct

API Usage

Python SDK

from openai import OpenAI

client = OpenAI(
    api_key="YOUR_API_KEY",
    base_url="https://llm.wavespeed.ai/v1"
)

response = client.chat.completions.create(
    model="meta-llama/llama-3.1-8b-instruct",
    messages=[
        {"role": "user", "content": "Hello!"}
    ]
)

print(response.choices[0].message.content)

cURL

curl https://llm.wavespeed.ai/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -d '{
    "model": "meta-llama/llama-3.1-8b-instruct",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

Notes

Model: meta-llama/llama-3.1-8b-instruct
Provider: Meta-Llama

Info

Dostawcameta

Typllm

Obsługiwane funkcje

Wejście

Tekst

Wyjście

Tekst

Kontekst16,384

Maks. wyjście16,384

Vision-

Function Calling✓ Obsługiwane

Przewodnik dostępu do API

Base URLhttps://llm.wavespeed.ai/v1

API Endpointchat/completions

ID modelumeta-llama/llama-3.1-8b-instruct

Najczęstsze pytania o Llama 3.1 8b Instruct

Ile kosztuje API Llama 3.1 8b Instruct?+

Cennik na WaveSpeedAI: $0.02 za milion tokenów wejściowych i $0.05 za milion tokenów wyjściowych. Prompt caching i przetwarzanie wsadowe są rozliczane oddzielnie i obniżają efektywny koszt długich, powtarzalnych obciążeń.

Jakie jest okno kontekstu Llama 3.1 8b Instruct?+

Llama 3.1 8b Instruct obsługuje do 16K tokenów kontekstu i do 16K tokenów wyjściowych na zapytanie.

Czy Llama 3.1 8b Instruct jest kompatybilny z OpenAI?+

WaveSpeedAI udostępnia Llama 3.1 8b Instruct pod adresem https://llm.wavespeed.ai/v1 przez interfejs Chat Completions zgodny z OpenAI. W większości klientów OpenAI SDK wystarczy zmienić base URL i klucz API; opcjonalne pola zależą od modelu.

Jak zacząć z Llama 3.1 8b Instruct?+

Zaloguj się do WaveSpeedAI, utwórz klucz API w Access Keys i wyślij żądanie do https://llm.wavespeed.ai/v1/chat/completions z identyfikatorem modelu pokazanym powyżej. Bieżącą dostępność, możliwości i ceny sprawdź w katalogu modeli.