Le musée Nezu a été fondé pour conserver et exposer la collection d'art pré-moderne japonais et d'Asie de l'Est que Nezu Kaichirō (1860-1940) avait construit avec passion.

Kaichirō, un homme d'affaires dont la carrière comprenait la présidence de la Tōbu Railway Co., Ltd., est né à Yamanashi et s'est intéressé à l'art très tôt dans la vie. Lors de son déménagement à Tokyo en 1898, il a montré ses capacités en tant qu'homme d'affaires et homme politique et a élargi son champ d'activités pour inclure également l'éducation. Devenir un adepte enthousiaste de la «voie du thé» a encore stimulé son enthousiasme pour la collection, et son approche audacieuse est devenue presque légendaire. De plus, Kaichirō ne considérait pas sa collection comme un trésor privé mais souhaitait partager sa jouissance avec le grand public.

Le musée occupe une très jolie maison situées dans un jardin japonais traditionnel.