Вот два рабочих примера прописывания путей к Qt в CMAKE.

Вориант для Windows:

set(Qt5Core_DIR "C:/Qt/5.6/msvc2013_64/lib/cmake/Qt5Core")

set(Qt5_DIR "C:/Qt/5.6/msvc2013_64/lib/cmake/Qt5")

set(QT_QMAKE_EXECUTABLE "C:/Qt/5.6/msvc2013_64/bin/qmake.exe")

Видимо, тут важно указать QT_QMAKE_EXECUTABLE - непосредственно сам путь к нужному qmake.

Вариант для Linux, пример прописывания путей к CMake модулям:

set(Qt5Core_DIR /opt/qt_5_9_2/5.9.2/gcc_64/lib/cmake/Qt5Core)

set(Qt5Network_DIR /opt/qt_5_9_2/5.9.2/gcc_64/lib/cmake/Qt5Network)

set(Qt5PrintSupport_DIR /opt/qt_5_9_2/5.9.2/gcc_64/lib/cmake/Qt5PrintSupport)

set(Qt5Sql_DIR /opt/qt_5_9_2/5.9.2/gcc_64/lib/cmake/Qt5Sql)

set(Qt5Xml_DIR /opt/qt_5_9_2/5.9.2/gcc_64/lib/cmake/Qt5Xml)

Здесь не задано Qt5_DIR и QT_QMAKE_EXECUTABLE, возможно их надо задавать, зависит от того, как написан CMakeLists.txt