溥仪与吉冈安直之间的关系，可以说是溥仪既讨厌他，又离不开他;既怕他，又恨他。用老百姓的话说，吉冈安直就像“贴树皮”(中国东北地区寄生在树上的一种毛毛虫)牢牢不放松地贴在溥仪身上。溥仪为了使吉冈安直对自己不起疑心，一听说吉冈“来访”，立即接见，甚至正在吃饭，也立刻放下饭碗。对于吉冈安直，溥仪回忆：“(我)真算做到了‘一饭三吐哺，一沐三握发’的程度。”

溥仪又回忆：“我出巡、接见宾客、行礼、训示臣民、举杯祝酒，以至点头微笑，都要在吉冈的指挥下行事。我能见什么人，不能见什么人，见了说什么话，以及我出席什么会，会上讲什么，等等，一概听他的吩咐。我要说的话，大都是他事先用日本式的中国话写在纸条上的。”对溥仪真正的威慑力来自关东军，吉冈安直也正是抓住了溥仪的这种怕死的心理。

他表面上对溥仪表现出“恭敬”、“温和”，甚至处心积虑地观察溥仪的喜怒哀乐，然而骨子里面还是绞尽脑汁、时刻不忘完成关东军交给自己的任务。为此，在一些无关紧要的事情上，他也避免与溥仪发生冲突。如对溥仪不肯选日本籍妃子;溥仪托辞不肯穿吉冈亲自设计的怪模怪样的参拜“建国神庙镇座”仪式的冠服等事，吉冈也作了让步。

虽然也曾有过关东军要撤换吉冈的传闻，但事实上是：吉冈安直从1934年至1945年日本投降，10年间除了参加东条英机的察哈尔兵团侵略内蒙外就没有离开过溥仪，而吉冈安直本人也由一名普通的日本陆军中佐高升至陆军中将。

1945年8月8日苏联军越过国界向满洲国进攻了的时候，与溥仪式等满洲国首脑一起放弃新京，向朝鲜附近的通化省临江县的大栗子避难，随着8月15日日本向同盟国投降了的事，8月18日溥仪式在大栗子宣言退位，吉冈也失掉全部的职位。此后，吉冈随溥仪一起准备到日本避难，在沈阳机场被苏联红军拘捕，被解往苏联，后死在苏联。