1906年，清廷议定裁撤盛京、宁古塔、黑龙江三将军，改置奉天、吉林、黑龙江三省，设巡抚，并设东三省总督。这是新辟的“特区”，所以不少官僚很看重，段芝贵就是其中最为热心者。段芝贵，字香岩，1869年出生于安徽合肥，和段祺瑞同族。从天津北洋武备学堂毕业后留校任教习，后任职于淮军。1895年，投身于新建陆军，历任督队稽查先锋官、步队左翼第二营统带、督操营务处提调兼讲武堂教习，赏道员衔。1902年后，历任直隶军政司参谋处总办、天津南段警察局总办。1905年2月，任第三镇统制官，后任督练处总参谋兼督办天津巡警工程捐募事宜。
同年，载振过天津，直隶总督让部下段芝贵接待。段趁此机会，将杨翠喜进献给这位皇族，后又给其父奕劻送了十万金的寿礼。搞定了这对父子后，1907年春，段芝贵果然由天津北段的一个小小地方官员，一跃擢升为黑龙江省的首任巡抚。