Калькулятор это маленький компьютер, отличия только в ресурсах.
Есть аппаратный уровень микросхем которые выполняют операции над порциями информации записанными в двоичном виде,
эти операции называются командами микроконтроллера или процессора, что одно и тоже.
Последовательность команд называется программой, программу пишут программисты, раньше, когда ресурсы аппаратуры были очень маленькими писали на ассемблере, сейчас в основном на С.
Как программист напишет программу, так калькулятор и будет работать. Один мой преподаватель говорил, что все калькуляторы (в его время) неправильно показывают.. они неправильно округляют знаки в дробных числах..
Так что берете литературу по любым микроконтроллерам и изучаете, изучаете, читать не перечитать..
Вот самый простой восьмибитный микроконтроллер, хотя это не означает, что там все просто..
http://www.microchip.com/wwwproducts/en/PIC10F200