смотря какой компонент будет в Value. 
 если твой собственный скрипт, то одно, если юньковский компонент - другое. 
 отвечая на вопрос - изменит ли GC референс - то не должен, потому как c# работает по ссылке везде где ему иное прямо не сказано... 
 и можно доступ взять в трай-кэтч. 
 для собственного скрипта (ну например типа ZmobyAI) - я делал так: 
 Код
 
 public class ZombyAI : Monobehaviuor{ 
       public static List<ZombyAI> AllZomby; 
       void Awake(){ 
             if(AllZomby == null) AllZomby = new List<ZombyAI>(); 
              
             AllZomby.Add(this);             
       } 
       ..... 
       public DestroyZomby(float aTime){ 
              AllZomby.Remove(this); 
              GameObject.Destroy(this, aTime); 
       } 
 } 
 
 и все было очень быстро.. а так про пул объектов и тут и по сети уже много инфы.