Reis selamlar, çok net bir dert anlatmışsın, benim de similar bir işe girdiğim oldu yıllar önce. İşin aslı, dediğin tutarsızlığın %90’ı ‘farklı model’den çok ‘farklı ortam ve pipeline’ kaynaklı oluyor. Birkaç noktayı teker teker sayayım, hepsi başımı da vurdu:
İlk durak determinizm. PyTorch’ta seed’i tek seferde yetmez, torch.manual_seed() + torch.cuda.manual_seed_all() + np.random.seed() + random.seed() derken cuda.deterministic = True ve benchmark = False demen lazım. Ama dikkat: benchmark = True bazen hız için nondeterministic kernel seçiyor, o da tutarsızlığın birincisi oluyor. CUDA deterministic açıkken tekrar tekrar aynı input’u feed edip output’u hash’le, birebir aynı çıkmazsa sorun ortada değil, senin ortamında.
İkinci büyük tuzak batch norm. Train modunda inference’a geçince running statistics’e düşer ama sen iki modeli farklı epoch’larda, farklı data sırasıyla eğittiysen running mean/var birbirinden kopar. İnference’da .eval() koyduğunu farzediyorum ama modelin içine in, bazı custom layer’lar forward’da hala train modunda kalmış olabilir. Bu tek başına %1-2’lik m2 farkı açıklar, senin ‘model A iyiyse’ dediğin şey aslında BN’in saçmalığı olabilir.
Üçüncü, preprocess’i tek elden geçir. Input’u float32’ye çevir, 0-1 mi -1..1 mi Normalize et, resize interpolation tipi (bilinear vs) aynı mı, crop/rand augmentation inference’da tamamen kapatılmış mı. İki modelin preprocess’i pixel-birebir aynıysa bile GPU’nun FP16/TF32 matris çarpımını açıp kapatmak bile son basamakları oynar. Karşılaştırma için inference’da TF32’yi drop_precision modunda sabitle.
Dördüncü en çok atlanan: NMS ve post-processing. Detection modelinde IoS eşiği, score threshold, NMS nms_type bile sonucu değiştirir. ‘İyi model’ demek için metric’i (mAP, NDS) aynı val seti, aynı annotation, aynı threshold policy ile alman lazım. Farklı threshold ile kıyaslamak iki aracı farklı lastikle yarıştırmak gibi. Metric hesaplamada da same data split + same annotation override kullan, yoksa ‘iyilik’ annotasyon farkından çıkıyor olabilir.
Pratik önerim: tek bir reference input seti (mesela 500 kare) hazırla, her modelde aynı preprocessing pipeline’i (hatta aynı preprocessing script’i) çalıştır, seed+cuda deterministic açık, FP32, sonra metric’i aynı scriptle hesapla. Sonra bile %1 civarında salındıysa, bunu ensemble ile ya da calibration ile düzeltirsin. Son olarak modeli quantize edip ONNX Runtime’a atarsan sonuçlar tekrar kayar, onu da ayrı test et, ‘model iyi’ deyip ‘quantize kötü’ demeyi unutma.
Bunları yapınca farkın gerçek mi yoksa pipeline saçmalığı mı olduğunu net görürsün. Deneyip hangi adımda ‘ışık yanğını’ söyle, oradan devam ederiz.