1906年,清廷议定裁撤盛京、宁古塔、黑龙江三将军,改置奉天、吉林、黑龙江三省,设巡抚,并设东三省总督。这是新辟的“特区”,所以不少官僚很看重,段芝贵就是其中最为热心者。段芝贵,字香岩,1869年出生于安徽合肥,和段祺瑞同族。从天津北洋武备学堂毕业后留校任教习,后任职于淮军。1895年,投身于新建陆军,历任督队稽查先锋官、步队左翼第二营统带、督操营务处提调兼讲武堂教习,赏道员衔。1902年后,历任直隶军政司参谋处总办、天津南段警察局总办。1905年2月,任第三镇统制官,后任督练处总参谋兼督办天津巡警工程捐募事宜。
同年,载振过天津,直隶总督让部下段芝贵接待。段趁此机会,将杨翠喜进献给这位皇族,后又给其父奕劻送了十万金的寿礼。搞定了这对父子后,1907年春,段芝贵果然由天津北段的一个小小地方官员,一跃擢升为黑龙江省的首任巡抚。