大正から昭和時代に活躍した日本の彫刻家。
本名は萬蔵。号は萬造、萬象。
明治18年（1885年）浅草に、父・小澤卯之助と母・せんの次男として生まれる。
父の死後、3歳で安藤家に養子に入った。
高等小学校卒業後に象牙彫刻を習って独立した。
師匠は大谷光利とされ、東京彫工会に所属。
明治43年（1910年）から大正11年（1922年）頃は、下谷御徒町（現・台東区西部）に住んでいた。
大正12年（1923年）の関東大震災で自宅を焼失したことを機に雑司が谷に転居した。
昭和14年（1939年）には板橋区向原に転居した。
昭和18年（1943年）太平洋戦争中に、伊勢丹の依頼を受けて日本占領下のインドネシアスマトラ島に赴き、現地で牙彫の指導を行った。
昭和34年（1959年）5月6日に死去した。享年73。

日本の美術工芸品において、象牙が使用された古い例は正倉院宝物や中尊寺金色堂などがある。
江戸時代に、牙彫が本格的に始まり、当時大流行した根付や印籠も象牙で作られることがあった。
明治時代には、外貨獲得のため、国をあげての殖産興業の一環として、日本の工芸品の国際博覧会への出品と輸出が積極的に進められた。牙彫の海外輸出も増加し、1990年に開催されたパリ万博に牙彫出品がされて、海外のコレクターに注目された。この時期に牙彫師として活躍した代表的な人物は旭玉山と石川光明である。
明治末期から大正期にかけては、精神性や主題を重視する西洋の美術思想が広まり、牙彫などの技巧を凝らした細密彫刻はいったん廃れた。このような時代に、牙彫に挑んだ彫刻家が緑山である。牙彫分野の彫刻家として活動し、多くの素晴らしい作品を残した。しかしながら、緑山の「象牙に着色すると色が滲んで独特の味わいを持つ」という独自の流儀は主流から外れていた。そのため、当時はその高い技巧に対してそれほど評価されることはなかった。21世紀に入って明治工芸が「超絶技巧」と持て囃されて知名度が上がり、現在に至る。緑山の再評価が進み、作品が各地の展覧会に出展されるようになった。