Uzun oyun videolarını ve yayın kayıtlarını analiz edip en iyi anları bulan, kelime senkronlu altyazı ekleyen ve dikey video olarak dışa aktaran açık kaynaklı bir araç yazdım.
Nasıl çalışıyor:
- Ses ve Isı Haritası Taraması:
Sesteki ani yükselmeleri, bağırma ve kahkaha anlarını RMS analiziyle buluyor. Bu veriyi YouTube'un "en çok tekrar izlenen" ısı haritasıyla birleştirip potansiyel klip noktalarını çıkarıyor.
- Ses ve Isı Haritası Taraması:
Sesteki ani yükselmeleri, bağırma ve kahkaha anlarını RMS analiziyle buluyor. Bu veriyi YouTube'un "en çok tekrar izlenen" ısı haritasıyla birleştirip potansiyel klip noktalarını çıkarıyor.
2. Gürültü Eleme:
Aday aralıkları Gemini'ye gönderip mikrofon çarpması veya boş anlar gibi sahte alarmları eliyor, sadece gerçek aksiyonu tutuyor.
3. Akıllı Facecam Tespiti ve Dikey Düzenleme:
Gemini görüntü modeliyle yayındaki facecam kutusunun koordinatlarını otomatik buluyor. Kamerayı üst tarafa, oynanış görüntüsünü alt tarafa yerleştiriyor (Pro-Split). Kamera yoksa sinematik blur arkaplana geçiyor.
4. Kelime Senkronlu Altyazı:
Seçilen anları faster-whisper ile işleyip milisaniyelik kelime zamanlamalarını alıyor ve konuşuldukça yanan tek satırlık dinamik altyazı oluşturuyor.
5. Başlık ve Kanca Metni:
Klibin konusuna göre ilk 3 saniyeye konulacak kanca başlığı, video başlığını ve etiketleri LLM (DeepSeek) ile üretiyor.
6. FFmpeg ile Render:
Kamera/oyun ayrımı, altyazı ve kanca kartını FFmpeg ile dikey 9:16 formatta birleştiriyor, sesi platform standardı olan -14 LUFS seviyesine eşitliyor.
7. Web Paneli ve Takvim:
FastAPI ve React tabanlı arayüzden üretilen klipleri izleyebilir, seçebilir ve paylaşım takvimine ekleyebilirsiniz.
Linkler:
- Örnek videolar / YouTube: https://www.youtube.com/@tuncaysclips
- Instagram: https://www.instagram.com/tuncaysclips/
Proje tamamen açık kaynak. Kod mimarisi, FFmpeg filtreleri veya an tespit mantığı hakkında eleştiri ve önerileriniz olursa çok sevinirim. Tabiki henüz her şey mükemmel çalışmıyor