Свою карьеру Богл начинал в управляющей компании Wellington Management Company. За 14 лет работы — с 1951 по 1965 год — он поднялся с позиции стажера, который отвечал за канцелярию, до должности вице-президента. В 1966 году он провел слияние Wellington с инвестиционной компанией Thorndike, Doran, Paine & Lewis (TDP&L), возглавив объединенную компанию. Но партнерство не стало успешным. В 1973 году он покинул должность главы Wellington, чтобы основать собственную инвестиционную компанию The Vanguard Group, названную в честь флагмана адмирала Нельсона.