Qt/E是专门为嵌入式系统开发的GUI平台，因此它并没有像Qt/X11版一样依赖复杂的X-Server，而是专门针对嵌入式平台特性开发了简化且高效的Server端，底层只支持Frame buffer设备，两者之间的通信方式仍然采用Unix域Socket，但是通信协议相比X11大大简化，这样在保证API一致性的前提下，提供了跨平台的支持。采用专用的服务器客户端架构是Qt/E与桌面系统最大的不同。同时由于Qt/E版的Server端相对简单，并且为了适应嵌入式系统硬件平台的巨大差异做了很多兼容工作，也使得对于Qt/E的移植相对比较容易，只要实现鼠标，键盘，屏幕相应的驱动就可以实现Qt/E的移植。
所有的Qt图形应用程序要运行就必须连接到Qt 服务器，Qt服务器负责管理鼠标，键盘，屏幕这些输入输出设备，同时还进行窗口管理，处理窗口重叠，移动，焦点转换，字体管理，输入法管理等。而Client端则是在窗口内部进行Widget的管理，绘制，以及文件，网络等其他操作，等待服务器端传递过来的用户输入事件，然后在绘制完毕以后发消息通知服务器，由服务器进程控制显示（对于支持Direct Painting的设备，是直接绘制到显示设备上）。
下图是Qt/E的客户端服务器架构：
由于Qt设计时出于资源节省的考虑以及灵活性，服务器进程并不是一个单独的进程，而是第一个启动的Qt图形应用程序，它既是客户端进程，也是服务器端进程，从程序设计的角度来说它可以和正常的客户端进程表现完全一致，但是它却掌管着对所有的设备的访问，这样的设计会导致Qt架构内部不是那么清晰，但是好处也是非常明显的，因为服务器端进程同时也是一个客户端进程，可以直接和用户进行一些特殊的交互，比如像Qt/E中的输入法设计等等。