時が経つにつれて建物が古くなり，また，技術の進歩，時代のニーズの変化が起きるのは当然であり，霞が関ビルにおいても例に漏れない。

霞が関ビルが今でも第一線で活躍しているのは，改修・リニューアルを行うことで，利用者のニーズを捉えて変化していき，さらなる付加価値を実現し，利便性を高めるソフトサービスを意識したビルの価値を高め続けているからである。それはまさに霞が関ビルだけが持てる伝統と品格，これまでの挑戦の証であろう。

大規模なリニューアルとして，平成元（1989）年から平成6年までの約5年間，内部のOA化や空調・電気・給排水等のシステム一新を図るリニューアルが実施された。当然のことながら，このリニューアル工事もまた空前の規模であった。テナント数124，約7,000人にものぼる人口を抱えるビルのリニューアル工事は容易なことではない。入居テナントの利便性を最大限に考慮し，スムーズなリニューアルを行うため数々の手法を講じ，対応した。ビルの東西の公開空地にそれぞれ3階建ての仮設ビルを建設。工事中となるフロアのテナントを仮設ビルに移転させることで，仕事環境を大幅に変えることなく工事を進める仕組みを作り上げた。同一敷地内の一時移転であるため，テナントは煩雑な住所変更などの手続きを行う必要もない。また，工事を機にオフィスのレイアウト変更や什器類のグレードアップを望むテナントに対しては個別に求める環境を提供したことも話題となった。

それ以降も建物の歴史的価値を護るとともに先進性を有すべく，平成11年から13年に1・2階のエントランスホールや外壁などの共用部を中心に改修した。平成21年には隣接する東京倶楽部ビルの建替えと周辺施設建設の時期にあわせて低層部のリニューアルが実施された。隣接する東京倶楽部ビルと飲食店舗が一体となった「霞ダイニング」が開業，約1万3,000m²の一体的都市広場の中核に季節感や潤いのある光景と緑豊かな寛ぎの空間「霞テラス」を創出した。

東日本大震災以降はビルのBCP機能向上が求められ，有事の際にテナントが如何に事業を継続するかが課題となった。霞が関ビルでは，3,000kVA発電機2基の更新と縦型オイルタンク9基（8万1,000L）を霞テラスの下に設置し，非常用発電機の72時間稼働を実現。被災度判定システムの導入や断水時のトイレ用井戸を設置したほか，防災センター機能の「魅せる化」を推進して利用者に安心感，信頼感を提供するなどソフト面においてもBCPを強化し，最新の機能を持つビルとして使い続けられている。

日本初の超高層ビル建設工事は世間の注目を集めた。現場見学者は3万人に及び，新聞などにも「絶景とスリルの空中職場」「36階ものがたり」などの見出しで大々的に取り上げられた。