Basta manter o botão ⌘ pressionado, clicar e segurar o item que deseja remover e arrastá-lo para fora da janela do Finder. Além disso, você deve tentar Go → Connect to Server (⌘ + K). Lá você deve ver uma lista de seus servidores favoritos. Se o seu servidor estiver lá, você pode selecioná-lo e clicar em Remover na parte inferior da tela.