Мектепті бітірген соң, Орынбор шекара комиссиясында әскери старшина болып қызмет атқаратын үлкен әкесі Балғожа Жаңбыршыұлының хатшысы болады (1857—1859). Орынбор облыстық басқармасында тілмаштық қызмет атқарады. 1860 жылы Орынбор бекінісінде (Торғай) қазақ балалары үшін мектеп ашу тапсырылады, әрі сол мектепке орыс тілінің мұғалімі болып белгілінеді.
Ыбырай дың бүкіл өмірін арнаған ағартушылық-педагогтық қызметі осылай басталады. Тікелей өзінің араласуымен халықтан жинаған қаржыға мектеп үйін және интернат салып, 1864 жылы 8 қаңтарда мектептің жаңа ғимаратын салтанатты түрде ашады. Ұстаздық-ағартушылық қызметке қоса Ыбырай ға басқа да жұмыстарды атқару жүктеледі. Орынбор генерал-губернаторының тікелей тапсыруы бойынша Торғайда төрт рет уездік судья болып (1868—1874), торғай уездік бастығының аға жәрдемшісі (1876-1879) қызметін атқарады.
Ыбырай инспекторлық қызметке кіріскен соң оқу-ағарту жұмыстарын одан әрі жандандырып, Елек, Қостанай, Торғай, Ырғыз уездерінде бір-бірден екі кластық орыс-қазақ мектептерін ашады, оларды қажетті кітаптармен жасақтайды. Әсіресе, елді көшпелі өмір салтын ескеріп, Ресейдің халық ағарту жүйесіне жаңа үлгілі білім беру тәсілін ұсыныс етеді. Нәтижесінде, 1888 жылы 10 сәуірде Орскіде бастауыш мектептер үшін қазақ жатарынан оқытушылар даярлайтын мұғалімдер мектебі ашылады. Ыбырай мұнан әрі қазақ жастары арасынан экономика, ауыл шаруашылығы, қол өнер кәіспшілігі салаларына қажетті мамандар даярлайтын училищелер ашуға көп күш жұмсайды. Тіптен, Қостанайдан ашылатын ауыл-шаруашылық училищесіне өзінің иелігіндегі жерін беретіні туралы өсиет қалдырады.
Ыбырай дың қазақ қыздары үшін Торғайда, Қостанайда, Қарабұтақта, Ақтөбеде мектеп-интернат аштыруының тарихи мән-маңызы зор болды. Ыбырай орыс-қазақ мектептері үшін арнаулы оқу құралдарын шығару қажет деп санады. Оқыту әдістерін жаңа бағытта құрды, оқуға деген баланың ынтасы мен қызығушылығын арттыруды көздеді, оқуды ана тілінде жүргізді. Мектеп оқуында, әсіресе, ана тіліне үйретуде К.Д.Ушинскийдің ойларына жүгінді. Қазақ балаларының таным-түсінігіне лайықты оқу-әдістемелік құралдар жазды. Ол орыс-қазақ училищесінде Ушинскийдің «Балалар дүниесін», Л.Н.Толстойдың «Әліппе және оқу құралын», Д.И.Тихомировтың «Грамматиканың қарапайым курсын» оқу құралы ретінде ұсынды. Ыбырай дің пікірінше, мектептерге арналып жазылатын оқу кітаптары өзінің идеялық мазмұны және нақты материалдары жағынан ана тілінің және халық даналығының бай қазынасына негізделуге тиіс болды.
1879 ж. оның «Қазақ хрестоматиясы» атты оқулығы және дидактик. оқу мәселесі жөнінде «Қазақтарға орыс тілін үйретудің бастауыш құралы» жарық көрді. Бұл екі кітап та қазақ балаларын кириллица негізінде оқытуға арналған тұңғыш оқу құралдары болды. Ыбырай – жаңа дәуірдегі қазақ әдебиетінің қалыптасуына қомақты үлес қосқан. Ол қазақ жастарын ең алдымен оқу, өнер-білім, тех-ны игеруге шақырады («Оқысаңыз, балалар, Шамнан шырақ жағылар. Тілегенің алдыңнан, Іздемей-ақ табылар»). Автор оқу-білімнің тек ізденіс, еңбекпен табылатынына мән берді. Бұған инемен құдық қазғандай ыждаһаттылық, талап пен сабырлылық қажет екенін ескертеді. Ал оқымаған надандарды ақын аз ғана сөзбен сынап, олардың ақ, қараны айырмайтын көрсоқыр екенін айтады («Оқымаған жүреді, Қараңғыны қармалап. Надандықтың белгісі – Еш ақылға жарымас»). Оқу, білімнің пайдасы қандай, ол неге керек деген мәселеге келгенде, оның өмір үшін, болашақ үшін қажет екенін талдап көрсетеді («Ата-енең қартайса, Тіреу болар бұл оқу. Қартайғанда мал тайса, Сүйеу болар бұл оқу»). Жастарды өнер-білім, тех-ны игеруге үндеу ақынның «Өнер-білім бар жұрттар» деген өлеңінде өз жалғасын тапқан. Ол өнер-білімі жетілген елдердің артықшылығы қандай, олар сол өнерімен нені игеріп отыр, ертеңгі өмірдің талап-тілектері не секілді күрделі мәселелерді жастар алдына көлденең тарту арқылы оларға ой тастап, өнер-білімді батыл игеруге шақырады («Адамды құстай ұшырды, Мал істейтін жұмысты, От пен суға түсірді. Отынсыз тамақ пісірді, Сусыздан сусын ішірді»). Ыбырай сондай-ақ Ушинский, Л.Н.Толстой, И.А.Крылов, И.Паульсон шығармаларын қазақ тіліне тәржімалап, қазақ әдебиетінде көркем аударма жанрын қалыптастырды. Қазақстан Үкімет 1989 ж. 22 желтоқсандағы қаулысымен Ыбырай дің туғанына 150 жыл толуына орай мерейтойы өткізіліп, ұстаздың мұраларына арналған ғылыми, тарихи, педогогикалық еңбектер жарық көрді. Арқалық қаласында Ыбырай мұражайы ашылды. Тобыл бойындағы Ыбырай қыстауы жанында, мүрдесі қойылған жерде, Ыбырай ға күмбезді мазар орнатылды. Қазақстанда Ыбырай атында аудан, ауылдар, жоғары оқу орындары, шың, т.б. бар.
Ыбырай оқу-ағарту жұмыстарына өз заманының ең озық әдістемелерін қолдана отырып, білімнің балаларға ана тілінде берілуіне айрықша мән береді. «Қазақ хрестоматиясы» атты оқулық, «қазақтарға орыс тілін үйретудің бастауыш құралы» атты дидактикалық оқу құралын жазды. Бұл кітаптарындағы оқушыны отан сүйгіштікке, еңбекке, кісілікке — тәрбиелейтін ғибратты шығармалары ешқашан да өзінің мән-мағынасын жоймақ емес. Тек қана оқу-ағарту жұмыстары емес, Ыбырай сонымен бірге сол кездегі қоғамдық — саяси өмірге сергек араласып, ғылым-білімге, еңбек пен өнерге, дінге, этнографияға қатысты мақалалар жазды. Оның, әсіресе, көркем еңбектері қазақ әдебиетінің қалыптасуына айрықша ықпал етті. Ыбырай есімі берілген аудан, ауылдар, оқу орындары, көшелер, жер атаулары Қазақстанның түкпір-түкпірінде кездеседі.
