開放城市共同體OpenCityCommunity
說明：
本文對每周熱門AI論文從：標題、作者、發布時間、背景、內容、結論等維度進行分析。
論文的翻譯以及分析均基於論文全文，使用kimi進行內容生成。
01多模式大型語言模型中真實圖表理解的差距
論文英文標題：Charting Gaps in Realistic Chart Understanding in Multimodal LLMs
原文鏈接：https://arxiv.org/pdf/2406.18521
論文作者和所在單位：Zirui Wang, Mengzhou Xia, Luxi He, Howard Chen, Yitao Liu, Richard Zhu, Kaiqu Liang, Xindi Wu, Haotian Liu, Sadhika Malladi, Alexis Chevalier, Sanjeev Arora, Danqi Chen；來自普林斯頓大學普林斯頓語言與智能實驗室(Princeton Language and Intelligence, PLI)，威斯康星大學麥迪遜分校，香港大學。
論文背景：多模式大型語言模型（MLLMs）在現實世界任務中應用時，圖表理解起著關鍵作用，例如分析科學論文或財務報告。現有的數據集通常關註過於簡化和同質化的圖表以及基於模板的問題，導致對模型進度的評估過於樂觀。
論文主要內容：論文提出了CharXiv，這是一個全面的評估套件，涉及來自arXiv論文的2323個自然、具有挑戰性和多樣化的圖表。CharXiv包括兩種類型的問題：描述性問題，檢查基本圖表元素；推理問題，需要綜合圖表中的復雜視覺元素信息。所有圖表和問題都是由人類專家挑選、策劃和驗證的。研究結果顯示，即使是最強的專有模型（例如GPT-4o）與最強的開源模型（例如InternVL Chat V1.5）之間也存在顯著的推理能力差距。
論文結論：現有的MLLMs在圖表理解能力上存在明顯不足，CharXiv的創建為未來MLLM圖表理解的研究提供了一個更現實和準確的進度衡量標準。
02使用LLM進行識別的埃及阿拉伯語-英語代碼切換翻譯和語音識別
論文英文標題：ArzeEn-LLM: Code-Switched Egyptian Arabic-English Translation and Speech Recognition Using LLMs
原文鏈接：https://arxiv.org/pdf/2406.18120
論文作者和所在單位：Ahmed Heakla, Youssef Zaghloul, Mennatullah Alia, Rania Hossamb, Walid Goma；來自Egypt-Japan University of Science and Technology, Mansoura University, Alexandria University。
論文背景：近年來，埃及阿拉伯語和英語之間的代碼切換現象越來越普遍。本文探討了機器翻譯（MT）和自動語音識別（ASR）系統的復雜性，重點是將代碼切換的埃及阿拉伯語-英語翻譯成英語或埃及阿拉伯語。
論文主要內容： 介紹了開發用於代碼切換的埃及阿拉伯語-英語的翻譯模型，使用大型語言模型如LLama和Gemma。在ASR領域，探討了使用Whisper模型進行代碼切換的埃及阿拉伯語識別，並詳細說明了實驗過程，包括數據預處理和訓練技術。實現了一個連續的語音到文本翻譯系統，該系統集成了ASR和MT，以克服有限資源和埃及阿拉伯語方言的獨特特性所帶來的挑戰。通過建立的評估指標對系統進行了評估，結果顯示在英語翻譯上比現有技術提高了56%，在阿拉伯語翻譯上提高了9.3%。
論文結論：本文提供了有關開發用於代碼切換的埃及阿拉伯語的機器翻譯和自動語音識別系統的見解。通過仔細的實驗和嚴格的評估，證明了方法在實現文化適應性翻譯和準確語音識別方面的有效性。研究結果強調了使用大型語言模型和額外數據進行預訓練以提高MT系統性能的重要性。此外，ASR模型的成功，特別是Whisper架構，突顯了深度學習技術在解決語音識別任務方面的潛力，即使是在資源受限的環境中。展望未來，進一步的研究可以探索先進的優化技術和新的模型架構，以推動MT和ASR性能的界限。此外，擴大訓練數據和為特定方言改進模型的努力可能導致更精確的翻譯和轉錄，促進我們全球化世界中的語言可訪問性。
03通過稀疏表示實現的無分詞器生成大型語言模型的內存效率高的嵌入
論文英文標題：T-FREE: Tokenizer-Free Generative LLMs via Sparse Representations for Memory-Efficient Embeddings
原文鏈接：https://arxiv.org/pdf/2406.19223
論文作者和所在單位：Björn Deiseroth, Manuel Brack, Patrick Schramowski, Kristian Kersting, Samuel Weinbach；來自Aleph Alpha @ IPAI, Technical University Darmstadt, Hessian Center for Artificial Intelligence (hessian.AI), German Center for Artificial Intelligence (DFKI)。
論文背景：分詞器在大型語言模型（LLMs）中對編碼信息至關重要，但它們的發展近年來停滯不前，並存在固有弱點。主要限製包括計算開銷、詞匯使用效率低下以及過於龐大的嵌入和頭層。此外，它們的表現偏向於參考語料庫，導致對代表性不足的語言效果降低。
論文主要內容：為解決這些問題，論文提出了T-FREE，它通過字符三元組上的稀疏激活模式直接嵌入單詞，不需要參考語料庫。T-FREE利用形態學相似性，允許對嵌入層進行強壓縮。在實驗評估中，作者實現了在這些層上的參數減少85%以上的同時，保持了競爭性的下遊性能。此外，T-FREE在跨語言遷移學習中表現出顯著的改進。
論文結論：T-FREE提供了一種強大的、高效的替代方案，用於無分詞器的LLMs。通過在建立的基準測試上對T-FREE的超參數進行全面評估，作者展示了在顯著減少計算資源和參數的情況下，與傳統分詞方法相比具有競爭力的性能。T-FREE在跨語言遷移任務中的能力也得到了證明，特別是在對未見語言的持續預訓練中。論文的貢獻包括系統地展示了常用分詞和嵌入方法的固有弱點，提出了T-FREE作為替代方案，並在下遊模型性能基準上展示了其競爭力。
04通過稀疏表示實現的無分詞器生成大型語言模型的內存效率高的嵌入
論文英文標題：T-FREE: Tokenizer-Free Generative LLMs via Sparse Representations for Memory-Efficient Embeddings
原文鏈接：https://arxiv.org/pdf/2406.19223
論文作者和所在單位：Björn Deiseroth, Manuel Brack, Patrick Schramowski, Kristian Kersting, Samuel Weinbach；來自Aleph Alpha @ IPAI, Technical University Darmstadt, Hessian Center for Artificial Intelligence (hessian.AI), German Center for Artificial Intelligence (DFKI)。
論文背景：分詞器在大型語言模型（LLMs）中對編碼信息至關重要，但它們的發展近年來停滯不前，並存在固有弱點。主要限製包括計算開銷、詞匯使用效率低下以及過於龐大的嵌入和頭層。此外，它們的表現偏向於參考語料庫，導致對代表性不足的語言效果降低。
論文主要內容：為解決這些問題，論文提出了T-FREE，它通過字符三元組上的稀疏激活模式直接嵌入單詞，不需要參考語料庫。T-FREE利用形態學相似性，允許對嵌入層進行強壓縮。在實驗評估中，作者實現了在這些層上的參數減少85%以上的同時，保持了競爭性的下遊性能。此外，T-FREE在跨語言遷移學習中表現出顯著的改進。
論文結論：T-FREE提供了一種強大的、高效的替代方案，用於無分詞器的LLMs。通過在建立的基準測試上對T-FREE的超參數進行全面評估，作者展示了在顯著減少計算資源和參數的情況下，與傳統分詞方法相比具有競爭力的性能。T-FREE在跨語言遷移任務中的能力也得到了證明，特別是在對未見語言的持續預訓練中。論文的貢獻包括系統地展示了常用分詞和嵌入方法的固有弱點，提出了T-FREE作為替代方案，並在下遊模型性能基準上展示了其競爭力。
05逐步偏好優化用於大型語言模型長鏈推理
論文英文標題：STEP-DPO: STEP-WISE PREFERENCE OPTIMIZATION FOR LONG-CHAIN REASONING OF LLMS
原文鏈接：https://arxiv.org/pdf/2406.18629
論文作者和所在單位：Xin Lai, Zhuotao Tian, Yukang Chen, Senqiao Yang, Xiangru Peng, Jiaya Jia；分別來自The Chinese University of Hong Kong, Harbin Institute of Technology (Shenzhen), SmartMore。
論文背景：數學推理對於大型語言模型（LLMs）來說是一個重大挑戰，因為需要進行廣泛且精確的推理鏈以確保準確性。現有的直接偏好優化（DPO）方法在長鏈數學推理上的效果有限，因為使用DPO的模型難以識別錯誤答案中的具體錯誤。
論文主要內容：提出了一種稱為Step-DPO的簡單、有效且數據高效的方法，它將單個推理步驟作為偏好優化的單位，而不是整體評估答案。研究者開發了一個數據構建流程，用於創建包含10K個逐步偏好對的高質量數據集。此外，發現在DPO中，自生成數據比人類或GPT-4生成的數據更有效。實驗結果表明，使用Step-DPO訓練，即使是超過70B參數的模型，在MATH測試集上的準確率也能提高近3%。
論文結論：Step-DPO通過更細粒度的偏好比較，顯著提高了大型語言模型在長鏈推理任務中的性能。研究者還提供了代碼、數據和模型，以促進社區進一步研究和開發。Step-DPO為長鏈推理問題提供了新的視角，並可能對模型對齊和優化產生重要影響。
06語言模型預訓練的數據混合作為回歸問題
論文英文標題：REGMIX: Data Mixture as Regression for Language Model Pre-training
原文鏈接：https://arxiv.org/pdf/2407.01492
論文作者和所在單位：Qian Liu, Sea AI Lab Xiaosen Zheng, SMU Niklas Muennighoff, Contextual AI Guangtao Zeng, SUTD Longxu Dou, Sea AI Lab Tianyu Pang, Sea AI Lab Jing Jiang, SMU Min Lin, Sea AI Lab
論文背景：大規模公共數據集的可用性是創建大型語言模型（LLMs）的關鍵因素。然而，如何確定有效的數據混合以進行LLM預訓練尚不清楚。
論文主要內容： 提出了REGMIX方法，通過將其製定為回歸任務自動確定高性能的數據混合。通過訓練一組具有不同數據混合的小模型，並擬合一個回歸模型來預測它們各自的混合性能。使用擬合的回歸模型模擬排名靠前的混合，並用它來訓練一個大規模模型，該模型的計算量比其他候選模型大得多。通過訓練512個具有1M參數的模型，並使用1B個token來擬合回歸模型，找到最優混合。使用這個混合訓練了一個1B參數的模型，並在25B個token上進行了訓練，發現其在64個候選1B參數模型中表現最佳。
論文結論： REGMIX方法在確定數據混合方面表現出色，與人工選擇相比具有更好的性能，並且與DoReMi方法相當或更優，同時僅使用了10%的計算預算。數據混合對性能有顯著影響，單任務性能變化高達14.6%。網絡語料庫（例如CommonCrawl）而不是像Wikipedia這樣的高質量數據，與下遊性能的改善顯示出最強的正相關。領域之間的交互復雜，常常與常識相矛盾，因此需要像REGMIX這樣的自動化方法。數據混合效果超越了擴展法則，REGMIX通過同時考慮所有領域來捕捉復雜性。
07標記擦除作為LLM中隱含詞匯項目的足跡
論文英文標題：Token Erasure as a Footprint of Implicit Vocabulary Items in LLMs
原文鏈接：https://arxiv.org/pdf/2406.20086
論文作者和所在單位：Sheridan Feucht, David Atkinson, Byron C. Wallace, David Bau，均來自東北大學（Northeastern University）
論文背景：大型語言模型（LLMs）能夠理解和生成連貫文本的特定機製尚不清楚。特別是，模型如何將子詞標記轉換為有意義的表示形式，即所謂的detokenization過程，是一個謎。
論文主要內容：研究者發現在LLMs中，多標記詞和命名實體的最後一個標記在早期層表現出明顯的「擦除」效應，即關於之前和當前標記的信息迅速被遺忘。提出了一種方法，通過檢查跨層的標記表示差異來「讀取」自回歸LLM的隱含詞匯表，並為Llama-27b和Llama-3-8B展示了這種方法的結果。論文還介紹了一種啟發式方法來評估給定標記序列的「詞匯性」，並使用這種方法從大量自然文本數據集中「讀取」LLM的詞匯項列表。
論文結論：論文提出了初步證據，表明存在一個隱含的詞匯表，允許模型從字節對編碼標記轉換為有用的詞匯項。觀察到的「擦除」效應是模型處理多標記表達式的一個結果，利用這一見解，提出了一種新的方法來「讀取」LLM的隱含詞匯表。這是理解LLMs中詞匯表示形成的第一步，可能有助於闡明模型「知道」的詞匯。
08大型多模態模型是否實現了類人的數學推理？
論文英文標題：WE-MATH: Does Your Large Multimodal Model Achieve Human-like Mathematical Reasoning?
原文鏈接：https://arxiv.org/pdf/2407.01284
論文作者和所在單位：Runqi Qiao, Qiuna Tan, Guanting Dong, Minhui Wu, Chong Sun, Xiaoshuai Song, Zhuoma GongQue, Shanglin Lei, Zhe Wei, Miaoxuan Zhang, Runfeng Qiao, Yifan Zhang, Xiao Zong, Yida Xu, Muxi Diao, Zhimin Bao, Chen Li, Honggang Zhang；作者單位包括北京郵電大學、騰訊公司微信團隊、華中科技大學和北京理工大學。
論文背景：現有的大型多模態模型（LMMs）社區在視覺數學推理方面取得了廣泛進展，但現有基準測試更關註結果導向的性能，而忽略了知識獲取和泛化的原理。
論文主要內容： 提出了WE-MATH，這是第一個專門為探索問題解決原理而設計的基準測試，超越了端到端的性能。收集並分類了6.5K個視覺數學問題，涵蓋67個層次化知識概念和5個知識粒度層。引入了一種新的四維度量方法，即知識不足（IK）、泛化不足（IG）、完全掌握（CM）和死記硬背（RM），以層次化評估LMMs推理過程中的內在問題。對現有的LMMs進行了徹底評估，並揭示了解決步驟與問題特定性能之間的負相關性。確認了通過知識增強策略可以有效改善LMMs的知識不足問題。發現GPT-4o的主要挑戰已從IK轉變為IG，標誌著它是第一個向知識泛化階段發展的LMM。
論文結論： WE-MATH為評估LMMs在視覺數學推理方面的能力提供了新的途徑，強調了對基礎知識概念的掌握是至關重要的。通過WE-MATH的評估，研究者揭示了LMMs在數學推理過程中的不足，並指出了改進的方向，為實現更類人的數學推理能力提供了參考。
09讓無聲視頻擁有同步且逼真的聲音
論文英文標題：FoleyCrafter: Bring Silent Videos to Life with Lifelike and Synchronized Sounds
原文鏈接：https://arxiv.org/pdf/2407.01494
論文作者和所在單位：Yiming Zhang, Qiuna Tan, Guanting Dong, Minhui Wu, Chong Sun, Xiaoshuai Song, Zhuoma GongQue, Yuancheng Wang, Zhizheng Wu, Kai Chen；作者單位包括上海人工智能實驗室和香港中文大學深圳研究院。
論文背景：在電影和視頻後期製作中，Foley是一種關鍵元素，它通過添加逼真且同步的聲音效果來增強沈浸式視聽體驗。傳統上，Foley藝術家在專業工作室中辛苦地創造、錄製和處理聲音效果，這是一個勞動密集和耗時的過程。盡管最近在視頻到音頻生成方面取得了進展，但實現Neural Foley——即合成高質量、與視頻語義相關且時間同步的聲音——仍然是一個挑戰。
論文主要內容： 提出了FoleyCrafter，這是一個新穎的框架，利用預訓練的文本到音頻模型來確保高質量的音頻生成。FoleyCrafter包含兩個關鍵組件：語義適配器用於語義對齊，時間控製器用於精確的音視頻同步。通過並行交叉註意力層，語義適配器在不依賴於顯式文本的情況下，根據視頻特征生成音頻，產生與視覺內容語義相關的現實音效。時間控製器包括一個起始檢測器和基於時間戳的適配器，以實現精確的音視頻對齊。FoleyCrafter的一個顯著優點是其與文本提示的兼容性，允許使用文本描述根據用戶意圖實現可控和多樣化的視頻到音頻生成。通過標準基準的廣泛定量和定性實驗驗證了FoleyCrafter的有效性。
論文結論： FoleyCrafter通過其創新的插件模塊，能夠為無聲視頻帶來逼真且同步的聲音效果，顯著提高了視頻的沈浸感。通過實驗，FoleyCrafter在語義對齊、音頻質量和時間同步方面均取得了良好的性能，證明了其在視頻聲音生成方面的有效性。論文還討論了FoleyCrafter的潛在局限性和廣泛影響，強調了負責任和道德使用這項技術的重要性。
10無代理解密基於LLM的軟件工程代理
論文英文標題：AGENTLESS: Demystifying LLM-based Software Engineering Agents
原文鏈接：https://arxiv.org/pdf/2407.01489
論文作者和所在單位：Chunqiu Steven Xia, Yinlin Deng, Soren Dunn, Lingming Zhang，來自伊利諾伊大學厄巴納-香檳分校（University of Illinois Urbana-Champaign）。
論文背景：近年來，大型語言模型（LLMs）在自動化軟件開發任務方面取得了顯著進展，包括代碼合成、程序修復和測試生成等。研究人員和行業從業者開發了各種自主LLM代理來執行端到端的軟件開發任務。然而，這些基於代理的方法的復雜性，加上當前LLMs的有限能力，引發了是否真正需要采用復雜自主軟件代理的問題。
論文主要內容：論文提出了AGENTLESS，這是一種無需代理的方法，用於自動解決軟件開發問題。與基於代理的方法相比，AGENTLESS采用了簡單的兩階段過程：定位後修復，不允許LLM決定未來行動或使用復雜工具。AGENTLESS首先通過一個分層過程將問題定位到特定文件，然後到相關類或函數，最後到細粒度的編輯位置。在修復階段，AGENTLESS根據編輯位置生成多個候選補丁，並進行簡單過濾，去除那些有語法錯誤或無法通過存儲庫中先前測試的補丁。論文在流行的SWE-bench Lite基準上評估了AGENTLESS，並展示了其與所有現有開源軟件代理相比，具有最高的性能（27.33%）和最低的成本（$0.34）。論文還對SWE-bench Lite中的問題進行了手動分類，並發現其中存在具有確切地面真實補丁或問題描述不足/誤導的問題。因此，作者構建了SWE-bench Lite-S，通過排除這些問題來進行更嚴格的評估和比較。
論文結論：AGENTLESS展示了在自動化軟件開發中簡單、可解釋技術被忽視的潛力。作者希望AGENTLESS將有助於重置自主軟件代理的基線、起點和視野，並激發未來在這個關鍵方向上的工作。論文強調，在追求排行榜上的最佳成績的時代，AGENTLESS提供了一個簡單、直觀的方法，通過兩階段的定位和修復過程，有效地解決了軟件開發問題，同時避免了LLM代理在軟件開發中的局限性。