Надо ли служить в армии РФ, если имеешь двойное гражданство и уже служил в армии Израиля

Хотя, по российским законам, служба в армии другого государства не свобождает от призыва в России, призвать вас могут только если у вас на руках есть призывное свидетельство. А получить вы его обязаны, только если постоянно проживаете в России. Если вы в России наездами, а постоянное место проживания Израиль - то призвать вас по закону не могут.

И, кстати, у вас не двойное гражданство, а второе гражданство. Это означает, что находясь в России вы расматриваетесь исключительно как российский гражданин.