Mệnh lệnh tìm kiếm Lê Chiêu Thống của Bình vương Nguyễn Huệ được gửi đi khắp Đàng Ngoài. Trong khoảng thời gian này, lực lượng Tây Sơn bắt đầu vươn lên kiểm soát các khu vực thượng du: Tuyên Quang, Thái Nguyên, Cao Bằng, Lạng Sơn.
Tại Tuyên Quang, vào khoảng tháng 4 năm Mậu Thân (1788), đúng lúc Bình vương ra Bắc bắt Vũ Văn Nhậm thì Tư mã Tây Sơn là Uy Vũ hầu Dương Văn Thái cũng đem quân lên chiếm Tuyên Quang. Trấn thủ Tuyên Quang của nhà Lê là Đáp Lĩnh hầu Phạm Như Toại đầu hàng Tây Sơn. Vùng núi Tuyên Quang cũng là nơi người em vua Chiêu Thống là Điền quận công Lê Duy Lứu đang hoạt động.
Phạm Như Toại và Lê Duy Lứu đại chiến. Lê Duy Lứu thua chạy, định đi sang Đô Long ở vùng biên giới nhà Thanh. Thế nhưng Duy Lứu mới đi tới Tụ Long thì bị thổ tù Đàng Ngoài là Hoàng Văn Đồng bắt giữ, đem giải tới chỗ Phạm Như Toại. Phạm Như Toại lại đưa Lê Duy Lứu về Thăng Long để lĩnh thưởng.
Bình vương không muốn giữ Lê Duy Lứu mà đem xử tử ngay lập tức. Có thể thấy rằng ông muốn đoạn tuyệt hoàn toàn với nhánh gia tộc của Lê Chiêu Thống. Bình vương đã có Lê Duy Cận. Lê Duy Cận cũng là con của tiên đế Lê Hiển Tông, là Thái tử bị kiêu binh phế truất và sau đó là Giám quốc do Vũ Văn Nhậm tôn lên. Theo Hoàng Lê nhất thống chí, bản thân người vợ Đàng Ngoài của ông là công chúa Ngọc Hân trước đó cũng ủng hộ Lê Duy Cận nối nghiệp vua Hiển Tông.
Trong lúc trấn Tuyên Quang bắt Lê Duy Lứu thì gia quyến của vua Chiêu Thống đang ẩn mình ở trấn Thái Nguyên. Từ lúc thua trận ở Mục Sơn, Thái hậu Nguyễn Thị Ngọc Tố cùng với bà phi Nguyễn Ngọc Đoan (thường gọi là Nguyễn Thị Kim) và nguyên tử Lê Duy Thuyên – con trai Chiêu Thống “hoảng hốt một ngựa về Văn Phong”, rồi sau đó lại đi lên xã Bác Sơn, huyện Võ Nhai, trấn Thái Nguyên.
Đến tháng Ba năm Mậu Thân (1788), được tin tức vua Chiêu Thống ở Vị Hoàng thuộc trấn Sơn Nam, Thái hậu liền sai người đưa thư tới đó. Chiêu Thống được tin, sai bề tôi của mình là Lê Quýnh đi Thái Nguyên, làm Khôn Nghi cung Hộ vệ sứ – tức là người bảo vệ cho Thái hậu.
Tháng Tư, Lê Quýnh tới Võ Nhai, trấn Thái Nguyên, thấy quân lính bảo vệ Thái hậu quá ít. Bấy giờ, thổ dân Lạng Sơn là Quyển Trâm và hào mục Cao Bằng là Bế Nguyễn Trù đang lánh nạn ở Thái Nguyên. Họ biết được tin mẹ và vợ con vua Chiêu Thống cũng đang ở chỗ này, nên tìm cách lùng bắt nộp cho Tây Sơn để lãnh thưởng.
Tin này cũng tới tai các chỉ huy Tây Sơn ở trấn Lạng Sơn. Chỉ huy Hoán Nghĩa hầu Trần Danh Bính và Chỉ huy Cúc cũng rục rịch đem quân từ Lạng Sơn qua Thái Nguyên. Tình hình này khiến các bề tôi nhà Lê phải tìm nơi khác để dời đi. Đốc đồng Cao Bằng là Nguyễn Huy Túc đề xuất lánh sang Cao Bằng. Ông ta làm thơ có nói rõ:
Trộm nghĩ Võ Nhai gần lửa giặc,
Chi bằng Cao khổn địa hình sâu
Đầu tháng Năm, Trần Danh Bính cùng Chỉ huy Cúc đem quân vệ Thiên Phụ từ trấn lỵ Lạng Sơn kéo lên châu Thất Tuyền. Các bề tôi nhà Lê liền tìm cách đối phó. Nhiệm vụ bảo vệ Thái hậu và cung quyến được giao cho Hoàng Ích Hiểu – một phiên thần Cao Bằng, quê ở Thượng Lang. Bấy giờ trong tay Hoàng Ích Hiểu có chừng 500 thủ hạ. Lực lượng còn lại được chia ra lập phòng tuyến: Tính Trung hầu phòng ngự ở Bắc Khê; Quán quận công đóng đồn giữ Nhã Nam, Đèo Chung.
Quân nhà Lê không phòng ngự mà chủ động tiến công. Từ Nhã Nam, Quán quận công tung du binh đánh chặn quân Tây Sơn ở núi Mai Trật. Bọn Trần Danh Bính phải lui về Thất Tuyền. Gia quyến của Chiêu Thống an toàn đến được Mục Mã – trấn doanh Cao Bằng. Nhưng đó chỉ mới là hiệp đầu của chiến dịch.
Trần Danh Bính và Chỉ huy Cúc không hướng về Thái Nguyên nữa, mà xoay về hướng Cao Bằng. Lúc này, quân nhà Lê lại bố trí Tiến Thọ hầu giữ mặt Thượng Pha, để ngăn quân Tây Sơn từ châu Thất Tuyền trấn Lạng Sơn kéo lên. Thế nhưng lực lượng của Tiến Thọ hầu đang trên đà tan rã. Gia nô của Tiến Thọ hầu là Văn Soái trốn đi đầu hàng quân Tây Sơn. Lực lượng quân hiệu Hàn Trung của phiên thần nhà Lê cũng đầu hàng.
Trần Danh Bính và Chỉ huy Cúc dùng Văn Soái làm người dẫn đường. Nhân lúc đêm tối, họ theo đường Hạ Bì tới đánh úp trấn doanh Mục Mã. Đốc đồng Cao Bằng là Nguyễn Huy Túc có trong tay nhiều lính người nước Thanh, mà phần lớn là người Triều Châu. Mặc dù từng khoe khoang “Triều Châu trường kỹ ưng vô địch”, Nguyễn Huy Túc không thể ngăn nổi Trần Danh Bính. Ông ta lệnh cho Hoàng Ích Hiểu đem thuyền buôn đưa Thái hậu, hoàng phi và nguyên tử xuôi dòng sông chạy ra cửa ải Thủy Khẩu – vốn thông thương với Trung Quốc. Họ trú lại ở cái cồn ở giữa sông Phất Mê.
Chỉ vài ngày sau, Trần Danh Bính và Chỉ huy Cúc lại bất ngờ ập đến, đưa quân vây cồn. Nguyễn Huy Túc đưa Thái hậu và cung quyến vượt qua bên kia sông, đi hẳn vào đất Thanh. Ông có nhắc đến tình hình lúc đó trong thơ của mình:
Trịch không nhất hãm mãn sơn kỳ
Án kiếm tùy loan xuất thủy mi
Ngũ trúc biên tra sanh quốc quyến
Nhất thằng hoàn thủy tế quan tùy
Tiếng reo từ đâu giáng xuống, cờ giặc đầy núi
Xách gươm theo kiệu ra đến bờ sông
Một bè kết bằng năm cây tre chở quốc quyến
Một dây giăng qua sông giúp các quan lội theo.
Chỉ còn lại nhóm Lê Quýnh, Hoàng Ích Hiểu ở lại chống cự trên cồn. Sau này, Lê Quýnh nhớ lại: “Quýnh và Ích Hiểu chia nhau hai ngả mà ngăn chống”. Trận giao tranh ở biên giới đánh động quân phòng thủ nhà Thanh. Đô ty doanh Long Bằng của nước Thanh là Trần Hồng Thuận cũng đem quân tới nghe ngóng tình hình.
Tàn quân nhà Lê trên cồn bị kẹt ở giữa hai đội quân: phía Tây Nam là quân Tây Sơn của Trần Danh Bính, phía Đông Bắc là quân Thanh của Trần Hồng Thuận. Đến lúc trời sập tối, mưa to gió lớn ập xuống, trời đất mù mịt. Lê Quýnh, Hoàng Ích Hiểu thả thuyền, nương theo ánh chớp vượt sông vào đất Thanh, trốn trong vùng núi ở phía bắc ải Đẩu Áo.
