说起日本的刺青文化，大约可以追溯到两千多年前，而最早的记载出现在梁元帝创作的《职贡图》里。
当时，中日两国并没有官方的往来和交流，我们从留存下来的《职贡图》摹本里可以大概看到，倭国（日本）的男子"皆以黥面文身，以木棉贴头"。"黥面"就是在脸上刺字或者涂墨。《后汉书·东夷传》里也有记载："男子皆以黥面文身，以其文左右大小别尊之差。" 因此可以看到，这一时期，在日本，文身或者刺青成为了一种习俗。
而在中国西周五刑制度中，依次是墨、劓、剕、宫、大辟。大辟就是死刑，墨刑就是“黥面”的刑罚，是在脸上或者其它部位刺字，然后涂抹墨水或者其它颜料，成为永久的印记。墨刑当然是最轻的刑罚。
在唐朝，上官婉儿得罪武则天被黥面。后来她仿效梅花妆，黥面刺成梅花形，则显得格外妩媚，后为民间女子效仿成为流行的化妆之一。
早在《后汉书》之前，《三国志·魏书》里也有关于日本刺青的记载：“男子无大小皆黥面文身。自古以来，其使谒中国，皆自称大夫。夏后少康之子封于会稽，断发文身以避蛟龙之害。今倭水人好沈没捕鱼蛤，文身亦以厌大鱼水禽，后稍以为饰。诸国文身各异，或左或右，或大或小，尊卑有差。”
从这一段描述中，我们不难看出：日本人文身仿效夏朝君主少康之子断发文身以躲避蛟龙之害。
"厌"，指代的是古时"厌胜之术"，用辟邪的物品帮助自己避开不祥，这里则是刺在身上的图案诅咒或祈祷以达到制胜所厌恶的人、物或魔怪的目的。那时的日本人就是在身上刺上图案以保平安，后来慢慢演化为一种装饰，并且通过文身的位置和大小来区别身份的尊与卑。人们还会把家微（家纹图腾）刺在身上，以表示血统与地位。
《隋书》里有一段记载则更值得我们注意："男女多黥臂点面文身，没水捕鱼。"此时，女性也跟男性一样，身上有了刺青；而男子呢，从人人身上都有刺青到了也有一些人选择不在身上刺什么图案。
江户时代的日本，刺青从"厌胜"和装饰变成了刑罚，那时候称为"入墨"。这种刑罚通常用在被流放或者犯过罪的人身上。这个时期也出现了一个很有意思的现象，就是公共的沐浴设施，也就是我们俗称的"澡堂"开始歧视身上有刺青的人了。
不过，物极必反。刺青成了一种惩罚措施，政府对刺青也持否定态度，结果呢。经济危机后的底层老百姓反而更加青睐这种"人体艺术"，为了养家糊口很多人也得选择一种“刺青”崇拜。东京一度成了男男女女追求刺青的绝好去处。
到了十九世纪初，中国十大名著之一《水浒传》被翻译成日文并且重新插画出版了。我们应该都记得，在《水浒传》当中，有好几个人物身上都有独特的刺青，比如"浪子燕青"，他胸前的刺青图案是梅兰竹菊，非常雅致精美；"一丈青"扈三娘浑身上下都刺着青龙图案；花和尚鲁智深"身上刺花绣"。
《水浒传》在日本民间受到了民众极大的欢迎，而歌川派传人歌川国芳通过十年的再创作，结合日本的浮世绘风格，在一些人物身上添加了十分细腻而华美的刺青，比如燕青身上的图案被改成了"唐狮子牡丹"，象征着驱邪和无畏，后来著名演员高仓健在出演《昭和残侠传》时身上也仿照这个图案做了刺青；"操刀鬼"曹正身上的刺青是一条硕大的章鱼，也是护身符的象征。而浮世绘前后历经了三百多年的发展，色调独特，笔触流畅，画风华丽，这种本身就深受日本人民喜欢的艺术形式被歌川国芳灵活地融入到了《水浒传》的人物形象当中，一经出版就轰动一时并备受追捧。在这种环境下，刺青在日本广为流行，迎来了一波热潮。刺青的图案也新增了很多浮世绘的元素，比如武士、樱花、风雷二神等等。
到了十九世纪中叶，日本底层人民的刺青已经非常普遍了，比如从事邮递员、建筑工人、消防员这样职业的人，通常都是全身以龙作为图案进行刺青，以求平安顺利。
不过，这期间发生了一件大事，那就是美国东印度舰队的四艘军舰强行驶进了江户湾，威逼日本打开国门。明治政府在洋枪洋炮的威胁之下，颇感自卑，开始处处以欧美为典范和标准，脱亚入欧后日本，民间文化受到外来文化的冲击，本国的刺青文化则成了"不开化的行为"，被政府明令禁止，刺青渐渐沦落成为黑帮的专属记号了。
然而，日本的刺青文化并没有就此陨落。虽然明治维新后政府开始鼓励全民西化，但往来日本的外国船员和西方贵族都成为了日式刺青的顾客，这其中不乏一些著名人物，比如奥地利的斐迪南大公、英国王子阿尔弗莱德、末代沙皇尼古拉斯二世，等等。但是，在这期间，日本政府对于刺青的禁令愈加严格，还举行过两次较大规模的查处运动。一边是外国人争相到日本刺青，一边又是政府禁止本国人民刺青，这种矛盾的局面持续了好几十年。
到了二十世纪四十年代，日本经历了二战战败。随着盟军到日本进行驻扎，刺青很快迎来了迅速崛起。
当时，有很多驻扎日本的美国大兵意识到，自己以前在身上刺上一个"忍"字之类的刺青，跟真正日式刺青的华丽与繁复简直不能相提并论。在这些外国人的推崇下，刺青终于在日本合法化了。