NuGetで使用するライブラリをVisualStuidoの管理画面より変更(削除->追加)し、合わせて削除したライブラリに依存するライブラリを削除したところ、dllが存在しない旨を表すエラーが発生。 そのdllを見ると、削除したはずのdll。

App.configを見ると、その削除したはずのdllに関するdependentAssemblyエントリが合ったため、バックアップを取得した上で該当箇所を削除したところエラーは出なくなった。

Visual StudioでNugetライブラリを削除する場合には、設定ファイル(App.config)には連動されない場合があるらしい。