Sekolah Tinggi Ilmu Tarbiyah Balikpapan (STIT Balikpapan) pada awalnya adalah bagian wacana Yayasan Pendidikan Islam Syaichona Cholil Kalimantan Timur yang berpusat di Kota Balikpapan, tepatnya pada tahun 2003, dalam mengembangkan dunia pendidikan di lingkungan Pesantren. Untuk mewujudkan wacana tersebut pada tahun 2003 dibentuk tim dalam rangka menyusun dan merumuskan perguruan tinggi di lingkungan pesantren, guna melengkapi jenjang pendidikan yang ada di pondok pesantren syaichona cholil Balikpapan yang telah memiliki pendidikan taman kanak-kanak (TK), Madrasah Ibtidaiyah (MI), Sekolah Menengah Pertama (SMP), Sekolah Menengah Atas (SMA) dan Sekolah Menengah Kejuruan (SMK).

Dari tim yang dibentuk atas saran dan masukan dari pengasuh pondok pesantren syaichona cholil Kalimantan timur yaitu K.H. M. Ali Cholil, perguruan tinggi yang di Pondok Pesantren Syaichona Cholil Balikpapan harus mampu menjadikan lembaga-lembaga dibawahnya laboratorium pendidikan tersebut. Maka atas saran dan masukan tersebut, maka perguruan yang ada menurut tim yang dimaksud harus bercirikan pendidikan atau tarbiyah yang religious, maka program studi yang dibuka adalah Pendidikan Agama Islam. Dengan atas kemampuan sumber daya (Resources) baik manusia, prasarana dan sarana, maka untuk menjadikan Sekolah Tinggi Agama Islam Balikpapan Syaichona Cholil tentu sangat berat, oleh karenanya ditetapkan perguruan tinggi tersebut dengan nama Sekolah Tinggi Ilmu Tarbiyah Balikpapan yang disingkat (STIT Balikpapan) sesuai dengan kondisi dan sumber daya yang dimiliki oleh Pondok Pesantren Syaichona Cholil.

Awal pendirian pada awal tahun 2003 tersebut peletakan batu pertama dan penandatanganan prasasti STIT Balikpapan dilakukan oleh Gubernur Kalimantan Timur yaitu Bapak Suwaran Abdul Fattah, dan operasional STIT Balikpapan mulai dilaksanakan dibawah kepemimpinan Ustdz. Drs. H. Syaiful, MM. dibawah dan pengawasan dan bimbingan dosen-dosen STAIN Samarinda. Sambil menyusun studi kelayakan guna mendapatkan ijin dari Kopertais XI wilayah Kalimantan yang berkedudukan di Banjarmasin.

Pada tahun 2004 Kopertais XI wilayah Kalimantan mengirim surat kepada pengurus sementara STIT Balikpapan bahwa ijin pendirian dan pembukaan program studi untuk tidak dibenarkan atau dijinkan oleh Departemen Agama, dalam hal ini Direktorat Jenderal Pendidikan Islam sampai batas waktu yang tidak ditentukan. Dan kewenangan Kopertais sudah berubah sebagai pemberi ijin, melainkan hanya pemberi rekomendasi.

Atas kebijakan pemerintah pada waktu itu STIT Balikpapan mengalami kefakuman, Karena ketua STIT Balikpapan mengundurkan diri dan diganti oleh Ust. Izzat Sholin, S.Ag. Hal ini menjadikan banyaknya mahasiswa mengundurkan diri dari STIT Balikpapan (mahasiswa yang mengundurkan diri ternyata mahasiswa yang tidak memiliki ijazah setingkat SLTA).

Pada tahun 2005 ijin pendirian perguruan tinggi dan pembukuan program studi dibuka kembali, STIT Balikpapan pada akhir tahun 2005 mengajukan proposal untuk mendapatkan ijin, dan atas persyaratan yang ada maka kepengurusan mengalami perubahan karena pegawai Negeri sipil tidak boleh menjadi ketua perguruan tinggi, kecuali mendapat ijin dari pejabat berwenang, atas inisiatif dan kerja keras kepungurusan yang baru dibawah koordinasi Bapak Rasidi, M.Pd dan dibantu oleh pengurus dan bimbinggan serta pengawasan dosen-dosen STAIN Samarinda yang dikoordinir oleh Bapak Drs. H. Said Husein, MA.

Pada tahun 2006 STIT Balikpapan divisitasi oleh tim direktorat Pendidikan Islam Departemen Agama, maka setelah visitasi, perkuliahan dibuka kembali dengan pemutihan mahasiswa, baik dari biaya maupun tahun masuk yang disesuikan dengan tahun dilaksanakannya visitasi, yaitu tahun 2006. Pada tahun 2007 ijin operasional STIT Balikpapan diturunkan tepatnya pada tanggal 20 April 2007 dengan nomor: DJ.I/177/2007.

Pada tahun 2014 STIT Balikpapan telah melaksanakan pergantian pengurus baru dibawah pimpinan Bapak Halimi Firdausi, S.Ag, M.Si. dalam perkembangan berikutnya STIT Balikpapan, tepatnya di tahun 2015 membuka program studi baru yaitu Pendidikan Guru Raudhathul Athfal (PGRA) yang saat ini oleh Kementerian Agam RI melalui Diktis dirubah menjadi Pendidikan Islam Anak Usia Dini (PIAUD) dan Pendidikan Guru Madrasah Ibtidaiyah (PGMI). Kedua prodi tersebut dibuka berdasarkan pertimbangan kebutuhan masyarakat kota Balikpapan dimana banyaknya lembaga pendidikan Islam yang mengelola pendidikan anak usia dini yang tenaga pendidknya belum memenuhi kualifikasi, pendidikan yang memadai dan juga tidak linearnya dengan kualifikasi kependidikan yang dijalani sewaktu menempuh pendidikan di tingkat akhir.

Melihat kondisi di atas STIT Balikpapan berupaya menjembatani permasalahan dan kesenjangan dalam dunia pendidikan di kota Balikpapan dengan membuka program studi (PRODI) pendidikan Islma Anak Usia (PIAUD) dan Pendidikan Guru Madrasah Ibtidaiyah (PGMI) STIT Balikpapan menyadari akan peran pendidik dalam mendidik anak bangsa harus ditunjang dengan kompetensi yang memadahi dan punya visi kependidikan yang holistic dalam membentuk karakter peserta didiknya. Atas dasar inilah STIT Balikpapan membuka program studi Pendidikan Anak Usia Dini (PIAUD) dan Pendidikan Guru Madrasah Ibtidaiyah (PGMI)