(8), (9) және (10) теңдеулер жүйесін есептесек, Беллман теңдеуі мына түрде болады
U скаляр бойынша (11) теңдеуінің жеке туындысын алған соң, (12) өрнегі шықты, (12) өрнегінен U басқаруын білдіруге болады.