Tờ báo Pháp Lời nói Tự do ở Paris (ngày 10 tháng Tư 1910) đăng bài về việc Khâm sai Lê Hoan bị cách chức:
"...Cách đây khoảng 18 tháng, ông Klobukowski đến Đông Dương nhậm chức Toàn quyền, ông tìm cách diệt Đề Thám. Ông trao cho một đại thần tin cẩn của Hoàng đế An Nam (Duy Tân) quyền thống lĩnh binh sĩ để bắt Đề Thám.
Viên đại thần này được phong làm Khâm sai với quyền tối cao. Lễ tấn phong rất long trọng trước binh sĩ người Âu và lính bản địa. Ông được nhận ấn của Hoàng đế. Lê Hoan bắt đầu mở ngay chiến dịch, ông ta càn quét vài làng, nhưng không bắt được Đề Thám và các băng thổ phỉ của hắn. Ông Klobukowski về Pháp nghỉ. Ông Picquie thanh tra thuộc địa, thay làm quyền Toàn quyền. Có tin là ông Picquie đã cách chức Khâm sai đại thần Lê Hoan và truy tố về tội hối lộ. Đó là theo những nguồn tin riêng của chúng tôi.
Cộng đồng người Âu ở Đông Dương vốn không thích đề cao người bản xứ ấy, vì sợ như vậy làm mất uy tín của chúng ta, dường như chúng ta làm vậy để bảo với thần dân Đông Dương: "Chúng tôi đi chinh phục các người nhưng bất lực không đánh nổi Đề Thám, phải nhờ đến một người bản xứ thay chúng tôi thực hiện chiến công ấy. Những ai nghĩ như vậy cũng không phải hoàn toàn sai, đó cũng là cảm nghĩ của dân bản xứ. Nhưng những ai có quan hệ nhiều với người phương Đông thì đều biết rõ tính giả dối của họ rất sâu đậm và sự kiên trì biết đợi thời cơ: Đề Thám mới đây còn cúc cung ngài Doumer nhưng rồi sẽ lại vào bưng biền, khi thời cơ cho phép.
Nếu thông tin của chúng tôi chính xác thì những điều dự đoán đã là thực: Khâm sai đã liên minh với Đề Thám, đã chia cho Đề Thám tiền để nuôi quân sĩ, và sau hết: sử dụng uy thế mà chúng ta cho hắn để khích dân chúng chống lại "những kẻ xâm lăng ngoại bang".
Ông Klobukowski ít quan hệ với dân bản xứ, chẳng biết gì về các trò lừa lọc ấy, còn ông Picquie vốn là dân thuộc địa chuyên nghiệp, không bị lừa, ông đã chấm dứt những âm mưu của Khâm sai đại thần bằng cách cách chức và bắt phải làm sáng tỏ mọi việc.
Trong khi đó thì xứ thuộc địa Đông Dương của chúng ta bị xáo động mạnh sau những chiến thắng của Nhật ở Mãn Châu. Cuộc nổi dậy thế nào cũng sớm nổ ra, rất có thể Lê Hoan và Đề Thám liên kết trong tình huynh đệ, chỉ huy những toán giặc do chúng ta trang bị, vũ trang và nuôi dưỡng." (nhà báo H. de Rauville).
Theo sự phát hiện của nhà sử học G.Sasges, năm 1909, sau khi bắt đầu chiến dịch cuối cùng đánh Đề Thám, Thống sứ Bắc Kỳ Sioni đã nhận được thư của Công sứ Lạng Sơn báo cáo là đã bắt được một thủ lĩnh của Đề Thám là Dương Bang, tên này khai là Lê Hoan và 3 vị quan to lãnh đạo cuộc đầu độc sĩ quan Pháp. Nhưng do những lý do chính trị đặc biệt và không rõ rệt, Lê Hoan không bị kết án, và năm 1909, vẫn được chỉ huy quân tìm diệt Đề Thám. Với chức vụ Khâm sai, Lê Hoan có quyền cấp chứng minh thư đặc biệt cho các thám tử đi lại các vùng có chiến dịch và vùng Pháp đóng quân. Cuối năm 1909, Pháp bắt được ở Hà Nội hai điệp viên của Đề Thám lại mang chứng từ của Lê Hoan. Nhưng Lê Hoan không bị kết án vì có thể đó là điệp viên hai mang.
Có điều chắc chắn là tuy Pháp dùng Lê Hoan nhưng dư luận Pháp không bao giờ tin cậy ông. Năm 1897, khi Toàn quyền Doumer định hồi chức cho Lê Hoan, các báo Pháp phản đối gay gắt vì Lê Hoan làm Tổng đốc Bắc Ninh đã để xảy ra nhiều vụ có hại cho Pháp. Lê Hoan bị gọi là "một kẻ nguy hiểm", làm mất uy tín quan lại (báo Tin Hải Phòng).
Theo nhiều sử gia Việt Nam và G.Sasges, Lê Hoan phải chơi hai mang để đánh lừa Pháp, ông đã gián tiếp nêu chính kiến yêu nước của mình trong tác phẩm Việt Lam xuân thu (1908) do ông đề tựa. Cuốn tiểu thuyết lịch sử về cuộc khởi nghĩa của Lê Lợi chống quân Minh chứng minh một điều: Phải đợi thời cơ thì khởi nghĩa mới thành công. Có thể chính Lê Hoan là tác giả sách ấy.
Cuốn Từ điển chung các tiểu sử xưa và nay của Đông Pháp (Hàn lâm viện khoa học thuộc địa Paris-1935) cho biết: Lê Hoan bị cách chức tổng đốc Bắc Ninh và giáng chức năm 1896 vì để hai người Pháp bị giết và về tội ăn hối lộ. Năm 1909, là Tổng đốc Hải Dương, ông được phong Khâm sai đi tiễu Đề Thám với 400 lính "Cuối năm đó, ông bị kết án về tội thương lượng, lấy lòng trùm thổ phỉ (Đề Thám) và sau là tội phản bội. Hội đồng điều tra sau đó kết luận là Khâm sai vô tội." Nhưng Lê Hoan vẫn bị người Pháp gạt ra.
Xin kể thêm một số sự việc về Lê Hoan: Năm 1916, Ngô Đức Kế và Lê Hoan đã lập một số hãng buôn ở Nghệ An gửi tiền đến cho Phan Bội Châu đang học ở Nhật Bản. Sinh nhật lần thứ 50 của Lê Hoan (1906), có nhiều sĩ phu đến dự và gửi thư chúc mừng như Vũ Phạm Hàm, Cao Xuân Dục, Kiều Oánh Mậu. Quan hệ giữa các hậu duệ Đề Thám và Lê Hoan rất thân thiết. Ông Lê Vượng, cháu Lê Hoan cho biết việc này: bà Hoàng Thị Thế (con gái Đề Thám) ở Pháp về, có gặp ông Lê Hứa, con thứ 5 ông Lê Hoan và nói: "Hiện nay họ đang hiểu sai về mối quan hệ giữa hai gia đình chúng ta. Với thời gian họ sẽ hiểu lại, anh yên tâm!"
Có lẽ cũng nên biết là ông Lê Tuân, con thứ 10 Lê Hoan, là một trong những người sớm tham gia (1928) Đảng Cộng sản Việt Nam. Hồ sơ Lê Hoan vẫn chưa đóng!..
Hữu Ngọc