Loading
Loading
في جوهره، نموذج اللغة الكبير يفعل شيئاً واحداً بشكل متكرر: يتنبأ بأفضل كلمة تالية.
عندما تكتب "العاصمة الفرنسية هي..." — النموذج لا "يعرف" الجواب. بدلاً من ذلك، قرأ مليارات النصوص التي تحتوي على هذه الجملة، ويعرف أن "باريس" هي الكلمة الأرجح في هذا السياق.
1. التقسيم إلى Tokens النص يُقسَّم إلى وحدات صغيرة تسمى tokens. الـ token ليس بالضرورة كلمة كاملة:
2. التدريب المسبق (Pre-training) النموذج يقرأ تريليونات الكلمات من الإنترنت والكتب. في كل مرة يخطئ في التنبؤ، يُعدِّل ملايين المعاملات الداخلية لتحسين نفسه. هذا يستغرق أسابيع على آلاف الـ GPU.
3. الضبط الدقيق (Fine-tuning + RLHF) بعد التدريب المسبق، يُضبَّط النموذج ليكون مفيداً وآمناً وصادقاً:
الـ Transformer هو المعمار الذي يجعل كل هذا ممكناً. ابتُكر عام 2017 في ورقة "Attention is All You Need".
الميزة الرئيسية: آلية الانتباه (Attention) — تسمح للنموذج بربط كلمات بعيدة في الجملة ببعضها. مثلاً، في "الكتاب الذي اشتريته بالأمس فقدته" — يفهم النموذج أن "فقدته" يعود على "الكتاب" رغم المسافة.
كل LLM لديه "ذاكرة قصيرة المدى" تسمى Context Window — الحد الأقصى من النص الذي يمكنه استيعابه في جلسة واحدة.
عندما تتجاوز المحادثة هذا الحد، يبدأ النموذج "بنسيان" الأجزاء الأقدم.
# Simplified: what happens when you call an LLM API
import anthropic
client = anthropic.Anthropic()
message = client.messages.create(
model="claude-opus-4-5",
max_tokens=1024,
messages=[
{"role": "user", "content": "What is the capital of France?"}
]
)
# The model predicts token by token:
# "The" → "capital" → "of" → "France" → "is" → "Paris"
print(message.content[0].text)
# Output: "The capital of France is Paris."