Теоретически должен, но практически - будет нагреваться, притом достаточно сильно. При электролизе львиная доля затраченой энергии идет просто на нагрев электролита за счет его достаточно высокого сопротивления.
По сути, электролизер это резистор, в котором помимо просто нагрева (основной процесс) идут побочные процессы окисления/восстановления веществ на электродах. Это немного "гнет" закон Ома, но, в целом, в рабочей области плотностей тока, электролизер, чаще всего, закону Ома подчиняется довольно неплохо.