このエラーは3dsMaxからNVIDIAプラグインが無くなった為、起きるエラーです。
NVIDIAが出している「mental ray」プラグインを入れるかプラグインのパスを書き換える
必要があります。

・パスを削除する方法
以下のパスを開きます。

C:\Program Files\Autodesk\(3dsMaxバージョン)\(言語)
日本語：jp-JP
英語：en-US

(3dsMax2017日本語版の例：C:\Program Files\Autodesk\3ds Max 2017\ja-JP)

上記パスに「plugin.ini」のファイルがあることを確認してください。
次にWindowsの「メモ帳」を「管理者として実行」で開きます。

なお、メモ帳で開く際に目的のファイルは「ini」の為、「すべてのファイル」に設定を
変更してファイルを探してください。

開いたファイルの中にある以下のパスを削除して上書き保存を行います。

削除するパス：AfterworksOptional=C:\Program Files\Autodesk\3ds Max 2017\plugins\Afterworks\Optional

保存後3dsMaxを開き起動を確認してください。