Firmum Picenum, colonia romana dal 264 a. C., è probabilmente da inserire in un contesto culturale che va dalle popolazioni Villanoviane ai Piceni, grazie ad alcuni ritrovamenti archeologici che ne attestano la presenza nella zona intorno al IX-VIII secolo a.C.

Traccia di grandissimo rilievo di quella che poi si trasformerà in una delle colonie romane più fedeli all'impero (cfr. motto della città "FIRMUM FIRMA FIDES ROMANORUM COLONIA", 207 a.C.) sono le cisterne romane opera maestosa del I sec. d. C. realizzata per la conservazione distribuzione delle acque piovane, ed il teatro, di cui rimane traccia sul versante Est della collina del Girfalco. Dopo la caduta dell'Impero Romano Fermo subì le invasioni barbariche, in seguito fu dominata dagli Ostrogoti sotto i quali visse un periodo di splendore. Lotario I, imperatore carolingio, immediato successore di Carlo Magno, nell'825 d.C. vi fondò una Schola (che poi Papa Bonifacio IX nel 1398 promuoverà a Studium generale, cioè Università). Tra gli anni tra il 900 e il 1100 d.C., Firmum diventa capoluogo di una delle tre marche (le altre due erano Ancona e Urbino). La "Marca Fermana" comprendeva un territorio vastissimo, che andava dal fiume Musone(vicino ad Ancona) fino al fiume Sangro (a sud di Pescara), dal mare ai monti (dove confinava col Ducato di Spoleto). Nel 1176 dopo lunga e tenace resistenza fu semidistrutta dalle truppe di Federico Barbarossa. Nel 1189 Fermo si erige in libero comune con propri statuti. Nel 1211 Ottone IV accordò a Fermo il diritto di zecca e molti papi vi batterono moneta. La Zecca fermana venne chiusa quasi seicento anni dopo, al tempo della Repubblica Romana nel 1799. Nel XIII sec. Fermo fu governata da Francesco Sforza e poi dal figlio Galeazzo, entrambi diventati più tardi duchi di Milano. Fu voluta da loro la rocca costruita in cima al colle fermano, distrutta nel 1446 in una ribellione del popolo col consenso del Papa Eugenio IV dopo lungo assedio. Nel 1502 Oliverotto Eufreducci si impossessò dello Stato facendo assassinare i maggiorenti della città, ma poi venne ripagato con la stessa moneta da Cesare Borgia che, dopo averlo invitato a Senigallia, lo fece uccidere insieme a Vitellozzo Vitelli e Paolo Baglioni. Ultimo signore della città fu Ludovico Euffreducci, nipote di Oliverotto, poi ucciso in battaglia a soli 24 anni dalle truppe del vescovo Nicolò Buonafede. Dal 1538 la città fa parte dello Stato Pontificio fino all'Unità d'Italia. Due vescovi di Fermo divennero poi papi: Pio II (cardinale Enea Silvio Piccolomini) e Sisto V (Felice Peretti, nato a Grottammare).
Papa Sisto V nel 1585 ampliò e potenziò l'Università fermana, elevò la sede da vescovile in arcivescovile promuovendola a "metropolitana".

Tra il 1809 e il 1815, durante il dominio di Napoleone Bonaparte, le Marche furono annesse al Regno d'Italia e divise in tre Dipartimenti: "Del Metauro" (fiume che sfocia in Adriatico a Fano) con capoluogo Ancona, "Del Musone" (scorre vicino a Recanati) con capoluogo Macerata e "Del Tronto" (il quale scorre al confine tra Marche e Abruzzo) con capoluogo Fermo e che comprende anche Ascoli e Camerino. Dopo la Restaurazione e il Congresso di Vienna (1815) le province tornano ad essere Pesaro, Ancona, Macerata, Camerino, Fermo ed Ascoli. Nel 1824 Leone XII riduce le province ("legazioni") marchigiane e sono soppresse Camerino (unita a Macerata) e Ascoli (unita a Fermo); successivamente al 1848 verranno di nuovo separate. Il 21 settembre 1860 Fermo è occupata dalle truppe piemontesi, guidate dal gen. Pinelli, e con il plebiscito del 4-5 novembre Fermo votò a grande maggioranza a favore della sua annessione all'Italia. Tre mesi dopo l'arrivo dei piemontesi, il 22 dicembre 1860 le quattro province furono di nuovo unite: Camerino venne di nuovo annessa a Macerata, Fermo fu annessa ad Ascoli.

Nel 2004 Fermo torna ad essere provincia separata da Ascoli, nel 2009 lo diventerà ufficialmente.