Το Λαογραφικό Μουσείο και η Πινακοθήκη που στεγάζονται στο κτίριο της Βιβλιοθήκης Κοραής προέρχονται βασικά από τις προσωπικές συλλογές του Φιλίππου Παντ. Αργέντη. Το 1932, ο Φίλιππος Αργέντης ίδρυσε το Σύλλογο "Αργέντη" με σκοπό τη διάσωση του λαογραφικού και ιστορικού υλικού της Χίου (συλλογή ιστορικών κειμηλίων, ενδυμασιών κ.α.).

Το 1937 έγιναν τα εγκαίνια του «Εθνολογικού Μουσείου», σε αίθουσα του Γυμνασίου της Χίου. Από τότε το υλικό πλουτίστηκε τόσο με δωρεές, όσο και με νέες αγορές από το Φ. Αργέντη.

Έτσι, ο ιδρυτής του Λαογραφικού Μουσείου αποφάσισε να επεκτείνει το κτίριο της Βιβλιοθήκης, προσθέτοντας και δεύτερο όροφο, για να στεγαστεί στον ίδιο χώρο η Λαογραφική Συλλογή και οι Ιστορικοί και Τοπογραφικοί Πίνακες της Χίου που είχε στο μεταξύ δωρήσει ο ίδιος.

Το 1962 έγιναν τα εγκαίνια των νέων αιθουσών. Μετά το θάνατο του Φίλιππου Αργέντη το 1974, ο γιός του Παντελής Φ. Αργέντης δωρίζει και άλλα βιβλία και πίνακες στο Μουσείο το οποίο επεκτείνει, τροποποιεί και διαμορφώνει με τη μορφή που παρουσιάζει σήμερα. Όλοι οι πίνακες που στολίζουν την είσοδο της Βιβλιοθήκης, το χώρο της σκάλας και το διάδρομο του ορόφου, αναφέρονται στην Ιστορία της Χίου. Οι πίνακες αυτοί αποτελούσαν την προσωπική συλλογή του Φιλίππου Π. Αργέντη.

Σε χώρους του ισογείου υπάρχουν οι προτομές των ευεργετών της Βιβλιοθήκης Αδ. Κοραή και Φ. Αργέντη, κάδρα με οικόσημα μεγάλων οικογενειών της Χίου, προθήκες με χειρόγραφα και προσωπικά αντικείμενα του Αδ. Κοραή και άλλων προσωπικοτήτων, μετάλλια, πετρώματα, απολιθώματα και διάφορα βιβλία και πίνακες. Στη σκάλα προς τον όροφο υπάρχουν ιστορικοί και τοπογραφικοί πίνακες, κυρίως χαλκογραφίες και υδατογραφίες του 19ου αιώνα. Στον όροφο υπάρχουν οι αίθουσες Α, Β, Γ, Δ και Ε. Στις δύο τελευταίες στεγάζεται η Λαογραφική Συλλογή.