可以。
中国的手机卡，开通国际漫游即可在日本使用。

中国移动：
【通话】接听电话、拨打中国大陆均为0.99元/分钟
【短信】发短信回中国大陆0.69元/条，接收免费

中国联通：
【通话】接听电话、拨打中国大陆及漫游地均为0.96元/分钟，拨打港澳台及其它国家和地区2.86元/分钟（境外拨打中国大陆请加拨+86，键盘长按“0”可拨出“+”号）
【短信】发短信回中国大陆0.86元/条，发港澳台及其他国家和地区1.56元/条