История города начинается с позднеминойского периода (1400 -1100 гг. д.н.э.). Здесь находилось поселение, которое положило начало античному греческому городу Ритина, в котором наблюдалось самоуправление, и в котором чеканили свою монету. Несмотря на это, к концу римской эпохи город пришел в упадок.
Господство венецианцев изменило судьбу города, превратив его в экономический и административный центр. В городе наблюдается расцвет наук и искусства. Молодые критяне, получившие образование в Италии, возвращаясь на остров, принесли с собой дух Возрождения. В 1562 г. по инициативе Francesco Barrozi, в Рефимно была основана Академия Vivi.
Однако период венецианского господства вовсе не был мирным. Кроме неоднократных восстаний критян, Рефимно был подвержен частым набегам пиратов. В 1538 г. город был разграблен турецким пиратом Барбароссой, а 1571 г. на Рефимно напал Улуш-Али, причинив огромный ущерб городу. Пиратские набеги показали несостоятельность оборонительной системы города, это заставило венецианцев капитально укрепить город. Венецианцы продержались в Рефимно до 1646 г., когда после осады город был захвачен османами.

В период османского господства Рифимно более не являлся административным и духовным центром, как это было в эпоху венецианцев. После захвата города христианское население частично бежало, частично приняло ислам, в городе обосновалось большое количество османов. Все это отразилось на демографической структуре города.
Сложившаяся ситуация повлияла и на архитектуру города, венецианский стиль города дополнили элементы османской архитектуры. Сочетание двух архитектурных стилей придало городу особую красоту и необычность.
Освобождение Крита и воссоединение его с Грецией стало началом новой эпохи для Рефимно. Город превратится в центр округа с развитым животноводством и аграрным хозяйством. Параллельно с этим колорит города и его местоположение повлияли на интенсивность туристического развития города. В 1970 г. здесь был основан Критский Университет, что в свою очередь превратило Рефимно в один из центров филологических и общественных наук, множество студентов придали особенный облик городу.
Современный город Рефимно. Город раскинулся по северному побережью, на востоке находится один из самых больших на Крите песчаных пляжей 12 км, на западе скалистое побережье, заканчивающиеся десятикилометровым песчаным пляжем. Рефимно является административным, коммуникационным и торговым центром округа.