中國古舊地圖開放協作整理計劃,正式公開發布了

從2015年到2020年,“發現中國”知識地圖製作分享平臺已經走過了5個年頭。目前我們已經擁有2.5萬註冊用戶,日均訪問用戶約3000人,在歷史愛好者群體和一些學者中具有一定知名度。在去年十月,我們運營團隊啟動了一項名為“中國古舊地圖開放協作整理計劃”的項目。這項計劃旨在通過志願者開放協作的模式,將國外各大圖書館、博物館收藏的;採用公有或者非商業版權,已經數字化並開放下載的;涉及我國的建國前的中外古舊地圖進行蒐集、整理和翻譯。以此形成統一的索引目錄,讓任何人都能免費使用。項目最終完成後,所有結構化數據將開放下載。根據規劃,完成這一項目大概需要2年以上的時間。經過30餘位志願者約半年的陸續工作,我們於2020年3月正式對外公開發布0.1版本,收錄了美國國會圖書館的一千餘幅地圖。


中國古舊地圖開放協作整理計劃,正式公開發布了

全新的中國古舊地圖項目


為什麼我們叫“發現中國”呢?就我個人最初的想法,就是希望人們能夠透過地圖,直觀的看到中國從古到今的社會變遷和文化傳承。我們的域名是“ageeye.cn”,“eye”代表著發現和探索,“age”指時代和歷史,“cn”則表示著中國。因為我相信,在經濟上取得偉大成就之後,中國的文化復興將是下一次的漫漫征程。因此我們團隊希望和億萬人一起,砥礪前行,完成屬於自己的一份義務。


不過要實現這一目標,實際上是極其困難的。在創辦之初,既無名氣,也無資源的發現中國,只能寄希望於靠普通愛好者製作分享地圖的方式去實現這一目標。分享地圖需要一個免費簡易的製圖工具,所以開發一個適合人文地理用戶使用的地圖編輯器,是最初幾年的主要工作。應該說,平臺提供工具、用戶分享內容是一種很常見的互聯網模式,但它的弊端也很明顯,就是內容質量的不可控。特別是愛好者群體非常小眾;對嚴謹性和完整性要求又極高;需要經年累月來完成;卻沒有什麼可閱讀性的地圖而言,這一點可謂致命。


經過三年的發展,我們用戶中學習人文社科專業的學生逐漸多了起來,這讓我們意識到,向更加專業的方向發展或許是一條正確的道路。為此我們在2018年上線了一個“中國古舊地圖”專欄,旨在發佈一些來自國外圖書館開放下載的高清古舊地圖資源,並通過組織運營團隊志願者,來完成一些相對可靠完整的內容。當時我們的運營團隊暢想過一個龐大的計劃,除了要發佈幾百上千的高清古舊地圖外,還要推出更多的專欄,比如中國歷史地圖、中國古城地圖等等。


中國古舊地圖開放協作整理計劃,正式公開發布了

發現中國2018年上線的兩個專欄


理想很豐滿,現實很骨感。在付諸於實踐後,這些計劃很快因為經驗、人員、時間、技術、經費等諸多原因無果而終。就其失敗的經驗來看, 我們認為,通過組織志願者的方式協作內容並非不可行,但首先必須有明確的理念和強有力的組織規劃,讓整個項目完全可控;其次必須有完成協作的技術支撐,畢竟在地圖上製作地理數據需要專門的工具。


為此,我們吸取之前失敗的教訓,決定在2019年重啟這一計劃,希望通過志願者在線協作的方式,推出一系列相對可靠完整的,輕量級的人文社科領域地理基礎數據庫。這一次,我們的理念從地圖上升到了地理數據;從文本信息發展到了數據結構化;從內部製作變成了開放協作。


中國古舊地圖開放協作整理計劃,正式公開發布了

中國古舊地圖的輕量化數據結構設計


我們首先要解決的問題就是數據結構化和可視化等技術問題。在以前,發現中國上用戶分享的內容,大多是一些非常簡單的示意圖和數據混亂的專題圖,來源不知,作者身份不明,數據也以經緯度數據為主。然而,人文地理類的數據真正可以量化成經緯度座標的,其實只是少數,有時甚至是極少數。多數數據可能是作者、作品、年齡、朝代、收藏單位等信息,同時還可能涉及人物關係等複雜的知識圖譜,還可能包含大量文字、圖片、音視頻等多媒體信息。


傳統上的做法,一般是使用通用工具,比如Excel、Access、ArcGIS等進行結構化,完成後要麼直接通過文件分享,要麼再進行二次開發後提供在線瀏覽。不過可惜的是,這些軟件幾乎沒有一個是針對人文社科需求而開發的。其次就是開發一套針對這個項目需求的信息系統,可以支持在線管理和在線發佈。定製開發雖然功能強大,但對於人文項目及其有限的經費而言,其投入大、週期長、不可控,運營維護和持續升級都很困難。在我看來,這也是限制我國數字人文發展的重要因素之一,同時也造成了極大的資源浪費。而對於我們這樣基於互聯網的志願者協作項目而言,在線發佈、在線使用是必然的,所以選擇開發一套專門的系統這條路子也是必然,不過好在作為技術人員,開發對於我們而言,倒並不是特別困難的事情。


我們的定位是輕量級的數據庫,畢竟志願者團隊不是專門的科研團隊,沒法做太深入的東西,我們的用戶群體也以愛好者和學生居多,查詢是普遍需求。另一方面,我們未來還要推出其它結構化協作計劃,所以專門針對古舊地圖去開發一套系統就很不划算。因此,我們把目標定位為一個適合人文社科類項目的通用協作平臺,並把這個新的平臺命名為“地圖書”。在這次的取名中,我把“地圖書”當作是“左圖右史”更加通俗的名稱,域名則為“ditushu.com”,簡單直接。和發現中國“地圖分享知識”的口號一樣,我們也在志願者中徵集了新的口號,最後有一位志願者的點子脫穎而出,他說道:“胸懷古今天下事,心藏經緯地圖書。”


也許,胸懷古今,心藏經緯,就是地圖書未來的座右銘吧。


我們首先實現了一個通用的結構化數據管理系統,可以基於協作項目的實際情況創建相應的數據結構,並且可以支持常見的一對多關係、多對多關係和圖譜關係,基本滿足各種輕量化系統的需要。為了解決志願者一邊協作,用戶一邊使用的問題,我們將數據庫設計為“草稿版”和“發行版”兩個版本。草稿版本只允許協作者瀏覽編輯,發行版允許任何人只讀瀏覽。


為了方便人文項目的使用,我們針對性的設計了一些特殊表字段。比如為了呈現超高清的中國古舊地圖,我們專門設計了一個圖片字段。上傳的圖片如果低於3000萬像素,可以支持實時切片,超過這一數值時,後臺會在隊列中預先生成切片緩存,最大可以支持約5億像素的圖片。這樣用戶就無需下載,可以在線瀏覽高清古舊地圖中的任何部分了。一副古舊地圖中的信息有時候非常大,對於很多人而言,這些地圖雖然精美,卻很難看懂到底說的什麼。讓普通人看得懂,一直是我們的重要理念,因此未來我們還將在為圖片字段增加通用的標註功能,可以通過標註圖片像素位置中的某個信息點,讓人快速理解隱藏在地圖中的信息。


中國古舊地圖開放協作整理計劃,正式公開發布了

左側顯示列表,可以進行搜索、過濾、排序等操作,右側進行瀏覽和編輯,並且可以作為古舊地圖瀏覽器


我們提供了點、線、面字段支持,只要添加這些字段,就可以在地圖中編輯地理元素。通過統一的圖層設計,地圖被分為柵格瓦片圖層、矢量瓦片圖層、GeoJSON矢量圖層、熱力圖層、粒子圖層等。通過不同圖層的自由堆疊組合實現想要的地圖可視化效果,未來還將實現三維可視化。對於文本字段,文本編輯器可以添加各種腳註、尾註,也可以把高清古舊地圖中放大後的任意部分,當作插圖插入到文本編輯器中。未來我們還將實現文本編輯器插入任意結構化數據引用條目,以及插入矢量地圖等功能。


通過對數據的充分結構化,用戶可以方便的實現自動生成篩選器和自動排序,同時也可以自動生成相應的可視化圖表。如果簡單的圖表無法滿足需求,我們還支持在線編輯簡單的查詢語句和JS代碼,這樣可以實現更加複雜的可視化效果。


中國古舊地圖開放協作整理計劃,正式公開發布了

根據數據結構自動生成可視化圖表


另一方面,則是我們在使用體驗上的探索。從發現中國誕生的那天起,“左圖右史”就是我們的目標。在這之前,我們通過在地圖編輯器中嘗試過左右圖文對比,但並不成功。在地圖書中,我們則大膽的採用三欄式設計,每一欄都可以顯示和隱藏。我們允許自由調整左右欄的寬度,同時又對不同大小的屏幕做了適配。在臺式機的大顯示器上,適合三欄;筆記本上則適合兩欄;而在手機上,將自動顯示為一欄。比如你可以在左欄顯示數據列表,右欄如果設置為“內容”顯示模式時,你點擊左欄的數據項,則會自動在右欄瀏覽和編輯。但如果你設置右欄為“地圖”模式,那麼當你點擊左欄的數據項時,則會在左欄瀏覽和編輯數據和顯示高清古舊地圖,而右欄則可以顯示現代地圖來進行對比。


中國古舊地圖開放協作整理計劃,正式公開發布了

通過調整佈局,可以在左右兩側同時顯示古今地圖


同時我們還推出了多套主題風格,再配合多欄的切換,地圖書即可以是可視化的地圖,也可以是一個數據瀏覽器,同時也可以是一個書籍閱讀器,總之,讓用戶用起來更好用、更方便,是我們的孜孜不倦的追求。


有了技術上的準備後,如何進行有效協作,則是我們需要摸索的另一個問題。


要進行志願者協作,一個明確的理念是項目的第一要務。我們把“開放共享”作為我們未來協作計劃的主要理念。何為開放共享?我們接受任何有志於此、具備時間和能力的志願者加入計劃。完成後的結構化數據,通過CC-BY 4.0知識共享協議免費對外發布,原則上使用者只要署名即可用於任何用途。


中國古舊地圖開放協作整理計劃,正式公開發布了

根據查詢語句和JS代碼生成更復雜的可視化圖表


第二個關鍵問題就是我們的目標。我們把協作人文地理基礎數據作為主要目標。由於志願者團隊的性質,根據之前的經驗,我們不會去做考證和原創,每個項目要麼是蒐集整理各種現存的資料進行整合,比如散落在國外各大圖書館、博物館的中國相關古舊地圖。或者以一些可靠的數據庫和專著為依據,從大量文本信息中提取其中的地理元素等結構化數據。將一套幾百上千萬字的專著,歸納為一個可能只有幾百KB大小的結構數據庫,方便用戶對其進行檢索,瞭解其概覽信息,並對書中一些配圖進行矢量化。


在之前的探索中,我們主要將項目交給一個志願者,希望讓他自行組織來工作。然而在實踐中,一個志願者很難同時具備相應的業餘時間、知識儲備和組織能力。有時候志願者也許連一個穩定上外網的環境都沒有,又如何去尋找散落國外的幾十上百GB古舊地圖呢?另一方面,我們也參考了維基百科和開源軟件的協作方式,但發現這些模式只可以部分借鑑,無法照搬過來。


在新的計劃中,每個項目都在我們的嚴密控制之下,應該說從選題、方向、階段目標等,大多都是由我個人說了算。之後採取高度分工合作的方式,志願者團隊中的開發人員對平臺進行開發,文史專業的人員則負責內容整理。項目需要制定詳細的文檔,在文檔的指引下,團隊先進行內部協作嘗試,總結出足夠的經驗後,再公開招募志願者,進行更大規模的協作。我們並不會對協作者的具體經驗和學歷進行嚴格限制,實際上我們也很難去確認。只要願意參加的志願者,一般都能得到5條初始任務。每個志願者各自負責一部分任務,互不影響。如果志願者無法按時完成初始任務,我們會定期回收任務。如果完成的不好,我們不會派發下一階段的任務。此外我們還會在協作過程中,不斷總結問題,完善文檔。


為了讓目標順利完成,我們對項目制定了分期路線圖,每期只完成指定任務,不隨意新增任務。比如有的志願者在翻譯過程中,參考了李孝聰老師《美國國會圖書館藏中文古地圖敘錄》一書中的資料,便提議將書中內容補充進來。不過我認為這固然很好,但半途新增比較大的目標,加重了志願者的工作量。如果真要做,我們只能修改下一階段的目標後,才能實施。但我們的路線圖也將在完成上一階段任務後,在下一階段開始前進行適當調整,以保證一個互聯網項目的靈活性。


光有技術和組織在我看來還是遠遠不夠的。在現今各種垃圾無用信息充斥互聯網,佔據用戶時間線的時代,在好的酒也怕巷子深。如果我們像之前那樣,準備在完全搞好後才對外發布和宣傳,對於如此漫長的計劃來說幾乎註定是要失敗的。所以這一次我們將採取項目完成初期準備,即公開發布招募公告;數據完成一部分之後,就發佈預覽版本進行廣泛宣傳的做法。以此吸收用戶和志願者,同時爭取必要的社會資源。


我們在這次的協作過程中,也陸續遇到相當多的問題,首先就是人員。應該說古舊地圖是一個非常小的研究領域,國內從事相關研究的老師和學生並不多。雖然目前志願者中不乏國內外高校歷史、地理、歷史地理、地信、測繪、城建、外語相關領域的學生和工作者,但卻沒有一個專門從事地圖學史和古舊地圖研究的人。而且許多志願者缺乏古舊地圖基礎知識,他們有些會把國會圖書館上拼音名“yu tu”翻譯為“於圖”或者“餘圖”,把城廂寫作城鄉。看到《華夷圖》即根據名稱認為這是民族分佈地圖。看到禹跡圖上的河道,就認為這僅僅是一副河流水道地圖。而由於缺乏專業的指導,我們對於翻譯術語表的規範也遲遲無法真正推出。


中國古舊地圖開放協作整理計劃,正式公開發布了

允許自由隱藏調整的多欄佈局


其次,就是多人協作的標準統一問題。為了讓大家直觀瞭解地圖的信息,我們設計了一個由志願者自擬的一句話簡介字段;為了方便檢索,我們設計了一個由志願者根據規則錄入的標籤字段。結果這兩個地方成了重災區,可謂一個人一個風格,甚至一個人就有幾種風格。這導致了大量相似標籤的出現,比如有的用清朝,有的用清代;有的用世界,有的用地球;有的用廣東,有的用廣東省;有的用區劃,有的用政區;有的用北京,有的用北平。為了進行規範和指引,我們1.3版本的文檔,已經比0.1版多了幾倍的長度,但長度的加長,又讓一些志願者沒有耐心仔細地讀完或者沒有充分理解,導致各種返工。在未來的版本中,我們可能會改變標籤的編輯方式,從現在的自由輸入,變成從統一的標籤庫中選擇。


最後就是審核問題,由於缺乏合適的審核人員,目前我們的審核相對簡單,主要看字段的填寫是否基本符合文檔中要求的格式,對於具體的翻譯內容,並沒有去對照原文確認質量。特別是項目會收錄非常多的外國繪製地圖,涉及日語、法語、俄語、拉丁語等語言,這一問題更加突出。不過由於我們完成一點發布一點的方法,數據可以接受使用者的反饋不來不斷完善。


不過正式通過這些經驗的積累,我們已經逐漸有了越來越成熟的方案。志願者也在這一過程中成長,相信以後我們也會推出越來越多的開放協作項目,也會有志願者來獨立領導一個項目。在這之後,我們會陸續發佈更多新的項目。新的“中國歷史地圖”項目預計於4月份發佈,這個項目以整合OSGEO中國中心和臺灣中研院的底圖為基礎,同時會進行部分矢量化。這樣用戶就可以直接檢索地名,比發現中國現有的“中國歷史地圖專欄”更加好用。


之後我們會內部啟動“中國古城地圖”項目。這個項目主要依據王樹聲老師的18卷《中國城市人居環境歷史圖典》為基礎,再結合其它一些專著,去除其中大部分文本,提取其中的古城目錄等結構化信息,對地理位置進行標註。這些項目形態各異,也並不是個個都很龐大,有的可能還很簡單,但卻能實在的解決最基礎的數據檢索問題。比如我們花了三天時間,對照英國學者約翰·O.E.克拉克的《地圖中的歷史》一書,在國外各大圖書館網站中將書中大部分配圖都找到了電子版以及收藏單位,這些地圖多數都是進入公有領域的高清版本。


中國古舊地圖開放協作整理計劃,正式公開發布了

通過不同主題和多欄的結合,可以實現不同的效果,可以全屏瀏覽地圖,也可以作為一個書籍閱讀器


那麼我們為什麼要去做“開放共享”數據呢?從2016年開始,我們就陸續開始了和從事開源GIS軟件、開放地理數據共享的OSGEO中國中心和開源WebGIS團隊Maptalks的合作。也正是因為和這兩家從事開源產業的單位的合作,以及多年來從開源社區得到的太多免費資源,讓我希望從一個“伸手黨”轉變為“貢獻者”。代碼可以開源,自然地理數據可以共享,那人文地理數據為什麼就不能共享呢?


不過一直以來,缺乏資源和資金一直是困擾我們的最大問題。一方面,我們願景很宏大,中國也如此富強繁盛,另一方面,我們卻經常需要為幾百塊錢的支出考慮再三,為如何節省服務器資源絞盡腦汁。發現中國從2015年上線以來,一直秉承著免費公益的原則在運營。隨著用戶和訪問量的不斷增長,提供製圖服務的開發和運營成本節節攀升,因此我們從2016年底開始接受個人贊助,2017年底運營自媒體,2018年底開始和學校展開合作,2019年底接受企業贊助。就我們目前的開放協作計劃而言,如果要持續推動,顯然還需要比之前更多的人力和物力。


我們的力量終究是有限的,只有得到社會各界的廣泛支持才能真正實現這一目標。我們希望有更多具有相關專業知識的志願者加入我們,一起完成這一龐大的計劃;我們希望和相關的單位和學者進行合作,可以共同發佈結構化數據,或者將你的著作進行結構化;我們也歡迎企業和個人向我們的開放項目提供贊助和合作,地方政府對項目進行扶持。


最後,我們附上目前參與過項目編輯的人員名單(按目前實際申領數量排序),感謝他們的貢獻。


懷舊、黔中小調、劉萍萍、無所可用、王二小、greart pang、餘弦INVERSE、趙沛堯、空格空格空格、映山紅、太子龍小宣、六十的可樂、陳建紅、聽濤觀瀾、程晨、德爾 皮耶羅、翼尖小翼、AGING、一揚



相關鏈接:



分享到:


相關文章: