雲林縣政府文化觀光處的前身為雲林縣立文化中心，為國家十二大建設之一。自民國67年秋成立文化中心籌建委員會後，即積極展開各項規劃工作，逐步執行。民國70年審查通過工程設計圖，所需用地獲經濟部同意提供斗六糖廠農地面積2公頃為建址。
雲林縣立文化中心共分為三期工程分期興建；首期工程包括：圖書館、文物陳列館、畫廊等，總建坪2,871坪，連同地下室共五層，於民國70年12月21日動工，至民國72年建竣，總工程費1億100萬元。並於民國74年落成啟用。第一期工程完工後，接續辦理第二至三期之音樂廳、庭園美化等工程，籌措1億餘元，於民國76年全部完工，提供雲林縣民博覽。
民國88年12月3日，雲林縣立文化中心配合雲林縣政府組織自治條例之公佈實施，升格為雲林縣文化局。民國91年7月改制為雲林縣政府文化局。民國97年3月30日配合雲林縣政府組織變更改制為雲林縣政府文化處。民國108年12月25日更名為雲林縣政府文化觀光處，並新增觀光發展科，目前下設文化資產科、藝文推廣科、展覽藝術科、圖書資訊科、表演藝術科、觀光行銷科、觀光發展科等7科。