约17世纪荷西时期，台湾开始出现番仔楼，当时西式城堡内及安平台湾街（今延平街）一带有许多洋馆。但自明郑迄清末10年之间，番仔楼几乎消失殆尽。1858年（咸丰8年），台湾的鸡笼（今基隆）、沪尾（今淡水）、安平与打狗（今高雄）四口开放通商，外人可上岸居留建屋，才又出现番仔楼，主要包括洋行、领事馆、医院、教堂、学校与住宅等。一般民间所谓的番仔楼多指以砖石所建的二层楼建物，但也有少数为平房，例如马偕（Mackay）在淡水埔顶所建的宅邸。
台湾所见的番仔楼与厦门、金门华侨回乡所建洋楼建筑风格相近，主要受南洋菲律宾、马来西亚、新加坡及印尼影响。欧洲人到亚洲拓展贸易，建立殖民地，结合欧洲与印度热带建筑特色，出现「回廊殖民式样」的建筑，通常一面或三面设置回廊，多以砖石砌拱廊，有避潮防晒功效；屋顶为四坡顶以利泄水，并在室内设壁炉，烟囱凸出於屋顶之上。内部平面多将楼梯设在核心区，以缩短廊道，屋架使用西式三角形木桁架，并悬吊天花板。地板常略提高，半地下室有隔潮作用，门窗常装木板百叶，外观多为红砖墙，但也可加以粉刷或涂漆。
目前保存较完整的有淡水埔顶红毛城内的英国领事馆官邸、传教士宿舍、马偕故居、总税务司宿舍（俗称「小白宫」）及高雄哨船头山丘上的英国领事馆舍。少部分非洋人兴建的番仔楼，如台北城内由刘铭传所建的西学堂、番学堂，与港町（今台北大稻埕一带）的洋楼、茶行，则在都市发展过程中被拆除。
中文关键字： 夷馆 , 异人馆 , 洋楼