上海市人民政府驻北京办事处的内部机构设置清晰，以满足其职责需求。主要设有三个职能处:
秘书处: 作为办事处的综合协调部门，秘书处负责日常行政事务的管理。它确保主任会议和行政办公会议决议的贯彻执行，协调各部门工作，安排会议并记录，处理文件、信函等文字材料的起草、打印、收发和文书档案工作。此外，秘书处还负责机要、人事、财务、车辆管理以及信访、安全保卫和保密工作，处理各级领导部门交办的任务。
业务处: 这是办事处的专业职能部门，主要负责信息收集和交办、催办等工作。业务处与国务院各部委保持紧密联系，了解他们对上海的期望，并及时反馈给市政府和相关部门。同时，它还与北京市和周边地区保持联系，获取和传递各种信息。业务处还需关注上海市相关部委的工作需求，办理交办事项，以及与其他常驻机构人员的联络。
接待处: 作为接待服务的关键部门，接待处主要负责上海领导和部委办负责人的接待工作。它负责安排来访领导的生活，迎送重要宾客并提供必要的陪同。此外，接待处还负责与驻地相关部门的行政事务协调，处理重要客人的交通安排，并受办事处委托管理后勤服务中心。