favicon zaten genel olarak bir kere belirlenecek bir şey onuda build aldıktan sonra belirleyebilirsin, ya da public içinde favicon dosyan vardır zaten standart olarak /favicon.ico diye çağırırsan publicten okuyacaktır

Araştırmadım fakat aklıma direk useEffect ile DOM'a erişip değiştirebileceğin geldi.
bunu her sayfada kullanacağın bir component için kullanabilirsin mesela navbar'da vb.
Örnek istersen burdaki kodları inceleyebilirsin.