LLM Nasıl Eğitilir? Pre-training, Fine-tuning, RLHF

Büyük dil modelleri (LLM), kullanılabilir hale gelmeden önce oldukça uzun ve maliyetli bir eğitim sürecinden geçer. Bu süreç yalnızca veri toplamak değil, aynı zamanda modelin dili öğrenmesini, insan talimatlarını anlayabilmesini ve güvenli yanıtlar üretebilmesini sağlayan çok aşamalı bir optimizasyon sürecidir.

Modern LLM’ler genellikle üç ana aşamada eğitilir:

Pre-training → Fine-tuning → RLHF

Buna ek olarak bazı sistemlerde Instruction Tuning, model distillation ve MoE optimizasyonları da kullanılır.

Pre-training (Ön Eğitim)

Pre-training, modelin “dil öğrenme” sürecinin temelidir ve en uzun aşamayı oluşturur.

Bu aşamada model; kitaplar, makaleler, web sayfaları, kod depoları ve farklı metin türleri içeren devasa veri kümeleri üzerinde eğitilir.

Buradaki amaç bilgi ezberlemek değildir. Asıl hedef, dilin istatistiksel yapısını öğrenmektir.

Model sürekli olarak şu görevi tekrarlar:

“Verilen metinde bir sonraki token ne olmalı?”

Bu süreç milyonlarca, hatta milyarlarca kez tekrarlandığında model, dilin içindeki örüntüleri yakalamaya başlar.

Örneğin model çok sayıda şu tür yapı görür:

• “Bir fonksiyon parametre alır ve bir değer döndürür.”
• “Eğer koşul sağlanırsa şu işlem yapılır.”
• “Kullanıcı giriş yaparsa sistem doğrulama yapar.”

Bu tekrarlar sonucunda model şu tür bir genellemeye ulaşır:

“Belirli dil kalıpları belirli durumları temsil eder.”

Yani model, tek tek cümleleri ezberlemek yerine benzer yapıların nasıl davrandığını istatistiksel olarak öğrenir.

Bu yüzden LLM’ler “bilgi bankası” gibi değil, “olasılık temelli örüntü sistemi” gibi çalışır.

Pre-training süreci genellikle binlerce GPU üzerinde haftalar veya aylar sürer ve eğitim maliyeti en yüksek aşamadır.

Fine-tuning (İnce Ayar)

Pre-training sonrası model dili genel anlamda öğrenmiş olur, ancak kullanıcı beklentilerine uygun davranmayabilir.

Örneğin sadece pre-trained bir model:

• çok uzun ve düzensiz cevaplar verebilir
• talimatları doğru yorumlamayabilir
• sohbet formatına uygun davranmayabilir

Fine-tuning aşaması bu problemi çözer.

Bu aşamada model, daha küçük ve etiketli veri kümeleri ile yeniden eğitilir.

Amaç, modeli belirli kullanım senaryolarına uyarlamaktır.

Örneğin model şu alanlara optimize edilebilir:

• sohbet asistanı
• yazılım geliştirme yardımcısı
• müşteri destek sistemi
• analiz ve raporlama aracı

Bu aşama sayesinde aynı temel LLM, farklı ürünlere dönüştürülebilir.

Instruction Tuning

Instruction Tuning, fine-tuning’in daha spesifik bir alt türüdür.

Bu yöntemde model, kullanıcı komutlarını doğru şekilde anlamayı öğrenir.

Örneğin:

• “Bu metni özetle”
• “Bunu madde madde açıkla”
• “Daha akademik bir dille yeniden yaz”

Instruction Tuning uygulanmamış bir model bu tür istekleri yanlış yorumlayabilir.

Bu eğitim sayesinde modern LLM’ler:

• kullanıcı niyetini daha iyi anlar
• daha doğal ve yönlendirmeye uygun cevap verir

ChatGPT, Claude ve Gemini gibi sistemlerin “asistan gibi davranmasının” temel nedenlerinden biri budur.

RLHF (Reinforcement Learning from Human Feedback)

RLHF, modern büyük dil modellerinin (LLM) insanla uyumlu, güvenli ve kullanılabilir hale gelmesini sağlayan en kritik eğitim aşamalarından biridir.

Pre-training ve fine-tuning aşamalarından sonra model teknik olarak dil üretmeyi öğrenmiş olur. Ancak bu noktada modelin çıktıları her zaman insan beklentileriyle örtüşmez. Bazı cevaplar fazla uzun, fazla kısa, gereksiz karmaşık veya kullanıcı açısından faydasız olabilir.

RLHF tam olarak bu problemi çözmek için geliştirilmiştir.

RLHF’nin Temel Amacı

RLHF’nin amacı modeli sadece “doğru cevap veren bir sistem” olmaktan çıkarıp, aynı zamanda:

• kullanıcıya faydalı
• anlaşılır
• güvenli
• doğal

cevaplar üreten bir sisteme dönüştürmektir.

Yani burada hedef yalnızca doğruluk değil, insan tercihiyle uyumdur.

RLHF Süreci Nasıl Çalışır?

RLHF genellikle üç aşamalı bir geri bildirim döngüsüyle çalışır:

1. Birden fazla cevap üretimi
   Model aynı soruya farklı varyasyonlarda cevaplar üretir.
2. İnsan değerlendirmesi
   İnsan değerlendiriciler bu cevapları karşılaştırır ve puanlar.
   Örneğin:

• hangisi daha doğru
• hangisi daha açıklayıcı
• hangisi daha güvenli
• hangisi daha anlaşılır

olduğu belirlenir.

3. Öğrenme (Reinforcement Learning)
   Bu insan geri bildirimleri bir ödül sinyali (reward signal) olarak modele aktarılır. Model, yüksek puan alan cevaplara daha çok benzer çıktılar üretmeye yönlendirilir.

Bu süreç tekrarlandıkça model, insan tercihlerini istatistiksel olarak öğrenmiş olur.

RLHF Neden Bu Kadar Önemli?

RLHF olmadan bir LLM:

• teknik olarak doğru bilgiler verebilir
• ancak bu bilgiyi düzensiz veya karmaşık sunabilir
• kullanıcı niyetini yanlış yorumlayabilir
• fazla “robotik” veya “soğuk” cevaplar üretebilir

RLHF ile birlikte model:

• daha doğal bir dil kullanır
• kullanıcı beklentisine göre cevap verir
• güvenlik filtresi kazanır
• yardımcı olma davranışı geliştirir

Bu nedenle RLHF, modern sohbet tabanlı LLM’lerin “asistan gibi davranmasını” sağlayan en kritik katmandır.

RLHF’nin LLM’lere Etkisi

RLHF sonrası modeller yalnızca bilgi üreten sistemler olmaktan çıkar ve:

• insan iletişim tarzına yaklaşır
• bağlamı daha iyi yorumlar
• daha tutarlı ve kontrollü cevaplar üretir

Özellikle ChatGPT, Claude ve Gemini gibi sistemlerde gördüğümüz “doğal konuşma hissi” büyük ölçüde RLHF sayesinde oluşur.

Parametreler Neden Önemlidir?

LLM’lerde sıkça duyulan bir kavram da parametre sayısıdır.

Parametreler, modelin öğrenme sürecinde oluşturduğu sayısal ağırlıklardır.

Örnek:

• 7 milyar parametre
• 70 milyar parametre
• 400+ milyar parametre

Genel olarak parametre sayısı arttıkça model:

• daha karmaşık ilişkileri öğrenebilir
• daha geniş bilgi kapasitesine sahip olur
• daha iyi genelleme yapabilir

Ancak tek başına parametre sayısı yeterli değildir. Veri kalitesi ve eğitim yöntemi en az bunun kadar önemlidir.

Mixture of Experts (MoE)

MoE mimarisi, büyük modelleri daha verimli hale getirmek için geliştirilmiştir.

Klasik modellerde her giriş için tüm model çalışırken, MoE yapısında model küçük uzman alt ağlara ayrılır.

Bir sorgu geldiğinde, sadece ilgili “uzman” bölümler aktif olur

Bu yapı:

• hesaplama maliyetini düşürür
• modeli daha hızlı hale getirir
• daha büyük ölçekli sistemleri mümkün kılar

Reasoning Modelleri

Yeni nesil LLM’ler sadece metin üretmekle kalmaz, aynı zamanda çok adımlı düşünme yeteneği de kazanır.

Reasoning modelleri:

• problemleri parçalara böler
• ara sonuçları değerlendirir
• farklı çözüm yollarını karşılaştırır
• daha tutarlı sonuçlar üretir

Bu gelişme, LLM’lerin sadece “dil modeli” olmaktan çıkıp problem çözen sistemlere dönüşmesinde önemli bir adımdır.

Özet

LLM eğitim süreci üç ana katmandan oluşur:

• Pre-training: dili öğrenme
• Fine-tuning: göreve uyarlama
• RLHF: insan tercihine göre optimize etme

Buna ek olarak instruction tuning ve MoE gibi teknikler modern modelleri daha güçlü ve verimli hale getirir.