Ол қазақ балалары үшін зайырлы мектептер ашуды армандады. 1860 жылы облыстық басқарма оған Торғай қаласында қазақ балалары үшін бастауыш мектеп ашуды тапсырды. Өзі сол мектепте орыс тілінің мұғалімі етіп тағайындалды. Ағартушылық идеялары жігерлендірген ол ауыл-ауылды аралап, жергілікті халыққа білім алудың маңызы мен қажеттілігін түсіндіруге күш салды. Ондай мектептер ашу үшін қаржы-қаражат жинауды қолға алды. Ондай ақшаның алғашқы үлесін Ы. Алтынсариннің өзі қосты.
Осыдан бастап оның ағартушылық және педагогикалық қызметі басталды. 1864 жылы қазақ балаларына арналған интернаты бар мектеп салтанатты түрде ашылды. Үгіт жұмыстарының нәтижесінде оқуға 16 бала жазылды. Кейінірек бұл мектептердегі оқушылардың саны арта бастады. Халық ағартушысы жүргізген үгіт жұмыстары нәтижелі болды. Бұл ретте ол былай деп қуана жазды: «Аш қасқырдың қойға ұмтылғаны сияқты, мен балаларды оқытуға қызу кірістім және мені өте қанағаттандыратыны — бұл балалар әлдеқандай уш айдыц ішінде оқуды, тіпті жазуды үйреніп алды».
1879 жылы Ы. Алтынсарин Торғай облысы мектептерінің инспекторы болып тағайындалды. Оның еңбегінің арқасында білім беру саласы қазақ даласында кең орын алды. Атап айтқанда, облыстың барлық уездік қалаларында училищелер ашу қолға алынды. Ол осы мақсатпен Торғай облысының қазақ ауылдарын түгел аралап шықты. Халықтан қажетті қаржы жинастырды. Соның нәтижесінде Ырғыз, Николаев, Торғай және Елек уездерінде екі сыныптық орыс-қазақ училищелерін ашты.
Оларды мұғалімдермен және оқушылармен толық қамтамасыз етті. Ол мектептердің жабдықталуына, олардың жанында шағын кітапханалар ұйымдастыруға ерекше күшті мән берді. Қазақстанда қыз балаларға білім берудің басталуы да Ы. Алтынсариннің есімімен байланысты. Аса көрнекті халық ағартушысының басшылығымен қыз балаларға арналған бірнеше мектеп ашылды. Ол мектептердің жанында интернаты болды. 1886 жылы мектеп-интернаттарда 211 қыз бала оқыды. Ы. Алтынсарин мектепті халық ағарту ісінің маңызды буыны санады.
