安直楼は、「唐人お吉」こと斉藤きちが1882年（明治15年）に42歳で開いた小料理屋です。
それがわずか2年で廃業した後は主を替え、寿司屋として90年代まで長く営業していました。特徴は、黒地に白いひし形が連なるなまこ壁。
下田を代表する歴史的建造物で、「下田まち遺産」に登録されています。
現在、屋内の見学できませんが、毎年3月の「お吉祭り」と5月の「黒船祭」の際には、一般公開されます。
17歳の時、アメリカ総領事 ハリスのもとへ奉公に出されたことで波乱の人生を送ったお吉。その存在は、昭和初期に発表された小説「唐人お吉」で広く知られるようになりました。
ヒロインの悲劇に満ちた物語は戯曲や映画にもなり、細かい出来事の信憑性は議論の余地があるといわれています。
なお、「唐人」とは当時、外国人を表した差別的な表現です。お吉にまつわる資料は、同じ下田市内にある宝福寺の「唐人お吉記念館」にて展示されています。