Kullabileceğiniz hazır bir favicon dosyası  olduğunu varsayıyorum
yoksa

buradan nasıl oluşturulduğuna bakabilirsiniz.

 favicon.ico dosyasını “wp-content/themes/kullandığınız tema adı” altına upload edin. Eğer başka bir klasöre upload etmek istiyorsanız CHMOD ayarlarının 777 olmasına dikkat edin.

Daha sonra header.php dosyasını açarak açıp <head> tagı altına alttaki satırı ekleyin.

<link rel="shortcut icon" href="/favicon.ico">

Bu kadar. Herhangi bir yanlışlık olmadığı halde görünmezse ctrl+f5 yapın yada internet tarayıcınızın cache ini temizleyin.