Die Hügel auf der Sonnseite von Hollersbach dürften bereits in der Antike besiedelt gewesen sein. In Wimm befand sich eine Römersiedlung, wie ein Fund von 1953 bestätigt. Zwischen 600 und 700 n. Chr. sind von Tirol über den Pass Thurn bayrische Siedler in den Pinzgau vorgedrungen. Der älteste Hof ist der Scharrerturn, von dem heute jedoch nur mehr die Grundmauern stehen. Der Name Hollersbach stammt von den Herren von Hollersbach: Ortolf von Holerspach, Beauftragter des Grafen zu Niederbayern, Fridericus de Hobersbach (1244) und Niclas der Holerspech, eine wichtige Persönlichkeit in der Zeit von 1327 bis 1370. Ab dem 16. Jahrhundert herrschte im Pinzgau der Hexenglaube. 1583 und 1584 fanden in Hollersbach gleich mehrere Hinrichtungen von "Hexen" statt. Im Jänner 1801 wurden die Hollersbacher vom Tiroler Oberkommandanten Speckbacher aufgefordert, mit den Tirolern um ihre Freiheit gegen die Franzosen zu kämpfen, was die Hollersbacher auch taten, indem sie sich zu den Landwehrformationen rüsteten. In der Zeit des 2. Weltkrieges wurden immer wieder Flüchtlinge aus Deutschland, Oberösterreich und Ungarn in Hollersbach aufgenommen. In Vitlehen fiel eine Fliegerbombe ab, die zum Glück keine großen Schäden verursachte. Im ersten Weltkrieg fielen 20 Personen von 75 Eingerückten, während im 2. Weltkrieg 38 Gefallene oder Vermisste von 122 Eingerückten vermerkt wurden. Die erste Kirche in Hollersbach, von Niclas der Holerspeckh gestiftet, muss bereits vor 1340 entstanden sein. 1892/93 wurde die neue Kirche errichtet. Der Hollersbach teilt den Ort in 2 Teile. Der östliche Teil gehörte vor 1950 zu Mittersill. Diverse Hochwasser, zum Beispiel diese von 1501, 1597 und 1599 zerstörten immer wieder Teile von Hollersbach. Auch der Bergbau spielte vor langer Zeit in Hollersbach eine wichtige Rolle. Bereits 1515 wurde am Burgstall Bergbau betrieben. 1629 enstand auf der Achsel ein Bergwerk. 1896 eröffnete in Hollersbach das erste Postamt, 1898 wurde die Feuerwehr gegründet und ein Schulhaus gebaut. Der Unterricht fand zuvor im Messnerhaus statt. 1920 wurde die Musikkapelle vom Bramlbauern gegründet.