Слово "кружка" родственно слову "круг" (навряд ли они однокоренные - этот термин имеет довольно строгое определение). Т.е. кружка - это нечто круглое (в сечении). Действительно, обычно если посмотреть на кружку сверху, то мы увидим круг. А круглая она была скорее всего потому, что делалась из глины, а изделия из глины круглые, т.к. делаются на гончарном круге.