diff --git a/LibGUI/GTableView.cpp b/LibGUI/GTableView.cpp
index 01a517b844..11bee41fd1 100644
--- a/LibGUI/GTableView.cpp
+++ b/LibGUI/GTableView.cpp
@@ -92,8 +92,8 @@ void GTableView::mousedown_event(GMouseEvent& event)
         return;
     }
 
-    auto adjusted_position = event.position().translated(0, m_vertical_scrollbar->value());
     if (event.button() == GMouseButton::Left) {
+        auto adjusted_position = event.position().translated(0, m_vertical_scrollbar->value());
         for (int i = 0; i < item_count(); ++i) {
             if (row_rect(i).contains(adjusted_position)) {
                 m_model->set_selected_index({ i, 0 });
@@ -101,9 +101,9 @@ void GTableView::mousedown_event(GMouseEvent& event)
                 return;
             }
         }
+        m_model->set_selected_index({ });
+        update();
     }
-    m_model->set_selected_index({ });
-    update();
 }
 
 void GTableView::paint_event(GPaintEvent& event)