01Nasıl yaptım?
Yapay zekâya mesaj attığınız andan itibaren içeride ne olduğunu baştan sona anlattım: cümlenin token'lara bölünmesi, token'ların sayıya ve konuma (embedding) dönüşmesi, dikkat (attention), katmanlar, sıradaki parçanın olasılığı, zar ve sıcaklık, eğitim, model dosyası, yapay zekânın huyları ve ajanlar. Kısacası yapay zekâ cevap vermiyor, sıradaki parçayı tahmin ediyor. Ekrandaki veriler gerçek: token parçaları GPT-4o'nun tokenizer'ıyla sayıldı, olasılıklar küçük ve açık bir Türkçe modelden, kelime haritası GloVe vektörlerinden alındı. Ekran kaydı yok; anlatım baştan sona kodla kurulmuş tek bir 'makine' animasyonu üzerinden gidiyor.
02Ne çıktı?
"Bugün hava çok…" sıradaki parça
Açık bir Türkçe modelin (ytu-ce-cosmos/turkish-gpt2-medium, sıcaklık 1,0) sıradaki parça için verdiği olasılıklar.
| Sıradaki parça | Olasılık |
|---|---|
| güzel | %23,6 |
| bulutlu | %21,9 |
| sıcak | %18,7 |
| soğuk | %11,3 |
| güzeldi | %4,6 |
| yağmurlu | %3,1 |
Aynı paragraf, iki dil
Aynı içeriğin GPT-4o tokenizer'ıyla (o200k) sayılan token'ları: Türkçesi yaklaşık 1,49 kat fazla tutuyor.
| Dil | Kelime | Token |
|---|---|---|
| İngilizce | 75 | 100 |
| Türkçe | 74 | 149 |
"Gidemeyeceklermiş" kaç parça?
tek bir Türkçe kelime, GPT-4o tokenizer'ında yedi parçaya bölünüyor
03Bu videoyla ilgili sorular
Soru sor
Henüz soru yok
Bu videoda takıldığın bir yer varsa ilk soruyu sen sor.
Benzer mutfaklar
Bunlara da bak
Muz 75 24:56 Hangisi Daha Çok Kazandırıyor? (Soru-Cevap)
Muz 74 17:20 23 Bin Dolar Kazandıran Videoyu 1 Dolara Yaptım! (Skill Açıklamada)
Muz 67 14:18 