相传我们sumiyal族的祖先，原来住在北方山麓的竹东、北埔一带，後来被汉人驱赶而入山。第一代祖先叫omao，他在世的年代才入山的，传到第二代tain，第三代taro，第四代tauna，而现在传到第五代的我yuvai。
伊能嘉矩发现，他们听得懂附近泰雅族的语言外，也有自己固定的语言，且和宜兰、台北方面的平埔番语一致，後来又查到苗栗後龙Tawkas群新港社那边每年举办的祭祖仪式，赛夏族都去参加，所以，伊能嘉矩根据他们的语言、传说、风俗等推论此族可能为平埔番道卡斯族的分支，因遭到汉人（清廷）的压迫，遂进入现在的山区。
另外，1915年小岛由道在《番族惯习调查报告书第三卷：赛夏族》中提到，赛夏族自称saysiyat， 泰雅族称他们为「bebuju’」或「mbuju’」，汉人则称他们为浅山番。不论赛夏族是否为平埔族的一支，比较确定的是两族群早有交往，如赛夏族称平埔番为panay， 显示与对方是有区别性的，针对此，赛夏族的神话中提及：
古代Panay住在深山里，食鸟类，而我们住在海边，食鱼类。但是後来双方吃腻了自己的食物，於是相互交换居住地。从此以後，他们就住在海边，我们住在山上。
小岛由道还采录到另一则神话传说：
太古时代本岛发生大海啸，陆地全部变成海洋，只露出papakwaka’（大坝尖山）山顶，当时织布机的主体部分随着海水漂流而来，’opoh na bolon把它捞起，发现里面有一孩童。’opoh na bolon将该孩童杀死，把他的肉、骨、胃肠切成细片，包在树叶里投入海中，之後各片即转化为人类。从肉变来的是我们saysiyat族的祖先，从骨头变来的是’tyal族的祖先，从肠胃变来的是moto’（客家人）的祖先。
神话内容，纪录赛夏族在迁徙的过程中居住过海边，而今仍与之密切的族群则是泰雅族及客家人。长期以来，赛夏人和泰雅或客家人混居、通婚後，使得文化习俗的交融已十分显着，甚至一部份赛夏族人讲的是泰雅族语或客语！
另外，1923年，佐山融吉在大东河社采录到一则有关赛夏族各氏族来源的神话：
太古时候，发生洪水，平地变成一片的沧海，因此朱姓的普隆喔坡 伊、马雅喔普兄妹两人乘坐织机体，逃到李头山，才勉强保住了生命。可是妹妹不久死亡，哥哥普隆喔坡伊的悲叹，是无法用语言形容的。普隆喔坡伊泪潸潸地抱着妹妹的屍体，过了一会才来到山麓的澄清的池边，将屍体切成小片，小心地一一用「利兹卡鲁」树的树叶包好，念念有词地说：「妹妹啊，如果你还想安慰我这个寂寞的哥哥，就化成人吧。」他把其中的一片放进机体沈入水中果真立即化为人。普隆喔坡伊大喜，连忙拉了起来，取名塔乌那伊，使其姓豆。接着他又依样画葫芦沈下肉，同样又化出人来，此人命名为塔罗拉霍拉伊，姓日。如此，一共得到了阿罗卡利（风姓）、特阿喔林（种姓）、塔马喔乌夏（土姓）、鲁莫耶特（高姓）、塔恩巴雅伊（蟹姓）、罗基罗库（钱姓）、他恩巴雅恩（夏姓）等九人，其他的都没有成功。不久之後，普隆喔坡伊在森林的各处徘徊时，看到有芋头的皮散在地上，知道这儿一定有人，因而四处寻找，果然发现一个男子，将他带回去，使姓狐，住在一起。这样，我社的基础终於建立了起来。
神话内容解释着赛夏各氏族的起源，其「截人肉化人」的情节，实是独具一格的创生类型。当中，透显了赛夏族认为人类是由同源共祖所化生，化生後的每个氏族，又有各自的代表物，同样地，祭典分工也以姓氏为单位。
赛夏族人对於祭典的分工非常清楚，除规范是来自族里的神话与历史经验外，氏族力量、地域观念强大也是关键因素。在赛夏族的社会里，每个氏族有自己的长老，每位长老不能插手其他氏族的事务，可说姓氏制度是赛夏族内部具体划分的行动单位。而同姓的人又因为不同的地域单位，相对形成更小的我群／他群意识， 直接区隔出团体运作时的成员范围，由此显示，赛夏族的社会组织是透过氏族与地域两者关系的运作，具有团结祭团的象徵意义。
参考资料