Pattern'ler nasıl test ediliyor

Bu sitedeki her sayı repodaki test aracıyla, yerel bir makinede üretilir ve onu üreten kodla birlikte repoya girer.

Kurulum

Modeller yerelde Ollama ile çalışır. Barındırılan bir API kullanılmaz.
Her sonuç dosyası makineyi, işlemciyi, belleği, işletim sistemini, Ollama sürümünü, model özetini ve quantization'ı, çalıştırma tarihini ve test aracının git commit'ini kaydeder.
Girdiler sentetiktir ve elle etiketlenmiştir. Pratikte hattı bozan durumları içerecek şekilde yazılır: yerel sayı biçimleri, göreli tarihler, eksik alanlar, girdinin içine gömülmüş talimatlar.
Her girdi birden fazla kolda (örneğin: kontrolsüz, doğrulama, doğrulama ve onarım, kısıtlı üretim), sabit seed ile, birden fazla sıcaklıkta ve tekrarlı çalıştırılır.

results/<pattern>.json: pattern sayfasında görünen özet.
results/raw/<pattern>/<model>.jsonl: her istek ve cevap. Her sayı arkasındaki çıktılara kadar izlenebilir.

Sonuçlar listelenen model, quantization, çalışma ortamı sürümü ve donanım için geçerlidir. Farklı bir kombinasyon farklı davranabilir; test aracının yayımlanma sebebi bu.
Girdi setleri küçüktür ve hata modlarını ortaya çıkarmak için tasarlanmıştır. Bir kontrolün işe yarayıp yaramadığını ve yaklaşık maliyetini gösterir, üretim ortamı hata oranlarını değil.
Sonucu repoya girmemiş bir pattern taslak olarak işaretlenir ve indekslenmez.