香港廉政公署的建立缘起于上世纪 70年代轰动一时的“葛柏案”。葛柏是香港英籍警察，总警司（相当于今天大陆的一级警监），时任九龙区副总指挥官。葛柏自1946年进入警察队伍，其间数度立功，并于1968年至1972年获得殖民地警察服务奖及英女皇警察服务勋章。1971年，香港警务处长接受英联邦指令组成专案组，对加拿大银行的一笔署名“卓柏”的1.2万加元存款户主疑为香港警察一事进行调查。经调查，葛柏的嫌疑最大。但葛柏在香港警署中的关系网很庞杂，很快采取反侦察手段并提出提前退休以逃避调查。专案组在律政司的建议下首次使用《防止贿赂条例》，要求葛柏在一周之内解释其财富来源。
　　通过对葛柏住所及汽车进行搜查，发现三本账册共计200多页，显示了葛柏受贿的范围及向其行贿的各种黄赌毒馆所，总共受贿所得至少430万港币。专案组决定，如果一周届满葛柏不能解释其全部财产来源便当场逮捕。不想束手就擒的葛柏利用手里的一张警务人员机场禁区通行证，并通过关系买到香港飞往新加坡的机票，从而轻易地于1973年6月8日逃出香港，经新加坡转抵英国。香港民众听说葛柏逃跑，纷纷上街游行，要求港英政府抓回葛柏。时任港督麦理浩勋爵意识到问题的严重性，委任香港高级副按察司百里渠爵士成立调查委员会，彻查葛柏逃跑的原因，并检讨时下的反贪工作。百里渠对当时的警察系统所存在的问题十分清楚，对葛柏也有相当的了解，于是，提交了一份调查报告，通称《百里渠报告》。报告中，百里渠反复强调，“葛柏案”早就于两年前即1971年立案调查。之所以没什么进展，关键是因为反贪调查组一直隶属于警务处，无法独立侦查，经常受到各方面力量的掣肘。牵一发而动全身，掣肘的并非葛柏本人，而是警察系统内部。百里渠在报告中历数警察机构的各种弊端，建议成立一个独立的反贪机构，并制定和实施严厉的反贪污法案。1973年10月17日，港督麦理浩在立法局宣布将要成立一个专门的独立的肃贪部门。
　　1974年2月15日，根据《总督特派廉政专员公署条例》，香港廉政公署宣告成立。廉政公署的英文写作IndependentCom-missionAgainstCorruption，意为“反贪污独立调查机构”，简称ICAC。廉署建立后，葛柏案件的相关档案都由警务处反贪部门转到了廉署，得到了彻查，终于于1975年将葛柏引渡回香港归案。通过彻查“葛柏案”，廉政公署打了第一个大老虎——葛柏。对此，当年主审“葛柏案”的香港法律界著名人物杨铁梁说：一个高级官员，又是外籍官员，做错事，我们已依照法律去做，做到最好，对香港是好的。我们第一次打倒一只‘大老虎’，这是个好的开始，它告诉我们——无论中国人还是外国人，只要是犯了贪污罪，我们都会捉。在香港反贪史上，“葛柏案”开创了一个极其重要的先例，也为后来廉政公署卓越而有效的反贪工作打开了良好局面。由于廉政公署对“葛柏案”的彻查，为这个反贪机构树立了声誉。其后几十年间，廉政公署一扫香港贪腐风气，成为廉洁的守护神。