Nasıl yapacağın tamamen sana kalmış birşey. Listelemek istediğin durum için bir kaç şeyi biliyor olman gerekiyor;

1) toplam kayıt sayısı ve her sayfada kaç kayıt göstermek istediğin (aşağıda 1.2.3.4.5... gibi sayfalar için)
2) kaçıncı sayfada olduğun ki bu genelde get ile alınır veya session ile de kullanıcıya göstermeden de yapabilirsin.

bunları edindikten sonra hangi sayfadaysan tek yapman gereken SQL sorgunda LIMIT değerini ayarlamak (LIMIT 20,10) gibi.

bu şekilde yaparsan her sayfada DB den sadece belirlenen satır aralığındaki kayıtları çeker ve gösterirsin. Yok her seferinde sorgu göndermek istemiyorum diyorsanda,
ilk başta tüm kayıtlarını çeker bir diziye aktarırsın ve yine aynı mantık ile FOREACH filan kullanarak ilgili kayıtları diziden çekersin.