在李清揚看來，廣東水師的這種做法并不稱職，大明海疆之內，豈能容下另一支武裝力量的存在至于為何之前放任了劉香海盜團伙的存在，李清揚認為這是能力問題，而并非態度問題。那些海盜在海上神出鬼沒，居無定所，逮不著也算正常，這海漢人的武裝就在珠江口外的小島上駐著，水師卻還是不聞不問，這不是失職是什么
李清揚可不相信什么海漢武力勝過大明這種謬論，想那海漢人不過寄居于崖州一隅，而崖州那地方一向是流放犯人之地，屬于真正的窮山惡水，加之當地地廣人稀，這幫海漢人又能折騰出多大的陣仗在他看來，最大的可能是海漢人用錢財收買了某些玩忽職守的軍方人員，讓他們對萬山港的存在睜只眼閉只眼。畢竟海漢人善于做生意，想必些許錢財對他們來說不是問題，而邊軍在近年的腐化狀況，作為錦衣衛的李清揚也是略知一二的，如果其中出現了跟海漢人同流合污之徒，他并不會感到奇怪。
事實上南鎮撫司會對崖州的海漢人起意，也是因為最近這一年多時間，來自瓊州的報告中對海漢人的描述少得不正常，駐崖州總旗甚至在報告中聲稱這幫人不過是“為數百人，以捕魚農耕為生”，然而南京市面上去年就已經出現了為數不少的海漢商品，難道那幾十上百兩銀子一面的鏡子、各種晶瑩剔透的玻璃器，能是一群漁民造出來的
錦衣衛畢竟是這個時代遠東首屈一指的情報機關，真要安心查一些事情，僅僅靠著一些欺瞞的手段是混不過去的。很快南鎮撫司就得知海漢人不但在兩廣地區將玻璃器生意做得極大，而且已經涵蓋了日用品、私鹽、運輸等多個方面，甚至還具備一定規模的火器制造能力，向兩廣地區的地方私人武裝出售了不少的制式火銃，其性能據說已經不亞于大明官軍火器營所配備的武器。
私造火器，這在大明是絕對禁止的行為，于是南鎮撫司要查辦海漢的理由便又多了一條。但考慮到廣東方面的錦衣衛分支機構可能已經有一部分人員被海漢收買，南鎮撫司就決定繞開兩廣的錦衣衛機構，直接派人入瓊打探第一手的消息。而且派出的人員不宜過多，大規模的人員調動容易走漏風聲，這點道理，南鎮撫司主事的官員還是很清楚的。不過他們沒有料到的是陰差陽錯治下，南鎮撫司打算查辦海漢的事情還是被有心人獲知，并且以不菲的價格賣給了海漢駐廣辦，于是李清揚等人還沒到廣州就已經被他們所要調查的對象列為了目標。
李清揚等人到了廣州之外，也是嚴格按照事前的計劃，并沒有冒然與廣州的錦衣衛衙門取得聯系，在城外潛伏了一日之后，才進城去了南鎮撫司的直屬據點。只是他們根本沒想到對手早就提前猜到了這一著，在那酒肆周圍已經布下了監視圈。以有心算無心，李清揚等人就算再怎么謹慎小心，也很難逃過海漢這邊的算計了。
李清揚在酒肆中得到了本地負責人的行動指點，他們要掩飾行跡去往瓊州島海漢人所控制的三亞地區，無非就只有三種辦法，一是裝作前去貿易的海商，自行駕船前往；二是扮作投奔海漢的移民，由海漢人組織乘船去該地；三則是加入船行，以普通的船員水手身份前往該地。