Η εβραϊκή κοινότητα της Καστοριάς ιδρύθηκε τον 6ο αιώνα και αποτελούνταν από ελληνόφωνους Ρωμανιώτες. Μετά το 1492 εγκαταστάθηκαν και Σεφαραδίτες. Οι Εβραίοι της πόλης ασχολούνταν κυρίως με το εμπόριο ψαριών και κρασιού. Πριν τον πόλεμο αριθμούσαν περί τα 900 άτομα. Στις 24 Μαρτίου 1944 οι περισσότεροι εκτοπίστηκαν στο Άουσβιτς, με απώλειες που έφτασαν το 96%.