作者: kenn 時間: 2020-7-18 10:17 標題: 不知原因, raw檔案corrupted了
本帖最後由 kenn 於 2020-7-18 10:47 編輯
上週因需要拿回30幾個幾年前拍的NEF raw 檔案，要從raid-6硬碟中尋回，但發現其中數個檔案已corrupted了。在尋找過程中亦發覺有數個folders內的部分檔案也一樣corrupted了。在儲存的backup硬碟中，也有類似情況，好在我有數套backup，可從中尋回所需的raw檔案。
目前不知爲何檔案會corrupted，因我一向是用FreeFileSync "mirror"或"update"來backup的。為審慎起見，我用Nikon ViewNXi 逐個folder (現役硬碟及backup硬碟) 開來看，要顯示folder內所有的raw檔案， 如有看不到相片內容的, 便從backup碟中抄回來。
過程中發覺用ViewNXi 顯示檔案相片 (個27"瑩幕壹次(約4秒)可顯示 31 x 14 = 434張相片)，是快過用Windows Explorer顯示很多倍。但都很煩及費時。都好在有數套backup，否則都不知點算。
作者: 觀星是答案 時間: 2020-7-18 10:50
Silent Data Corruption
File system 無 checksum 功能的話，HDD 走磁會導致資料錯誤，而且唔打開 file 就無法發現，亦無法修復
好在你有數份 backup ，否則救唔返
作者: dds 時間: 2020-7-18 11:01
回覆 1# kenn
當年同時瓜 212J Raid 1, Intel Onboard Raid 1,
估計係overheat 所至.
無咗近70% Data.
以後再買NAS, 都唔敢再用raid,
而且 家用model 個d raid 唔係太過穩陣.
之後，全部用晒simple volume, 另加數份backup.
舊年，部Syno web server 奶咗野，
成個web folder 被encrypted, 如果唔係有cold backup,
有排搞.
作者: kenn 時間: 2020-7-18 11:15
我諗未必是raid-6硬碟問題，因我曾用backup碟restore啲files回raid-6度。
作者: 觀星是答案 時間: 2020-7-18 11:28
我諗未必是raid-6硬碟問題，因我曾用backup碟restore啲files回raid-6度。
kenn 發表於 2020-7-18 11:15
的確唔關個 RAID 事
單碟定行 RAID 都一樣會 SDC , 關個 filesystem 事
作者: dos2vista 時間: 2020-7-18 11:46
的確唔關個 RAID 事
單碟定行 RAID 都一樣會 SDC , 關個 filesystem 事
觀星是答案 發表於 2020-7-18 11:28
咁用邊個Filesystem會有Checksum？
或者較適合避免SDC？
作者: 觀星是答案 時間: 2020-7-18 12:47
咁用邊個Filesystem會有Checksum？
或者較適合避免SDC？
dos2vista 發表於 2020-7-18 11:46
NAS 可以考慮用 BTRFS/ ZFS
Windows 就 ReFS
其實要做運算既 Raid (RAID 5 / RAID 6) 做 Data scrubbing 時都可能偵測到錯誤 <- 部份 Raid card 叫呢個功能做 Portal Read
而 SSD 唔會走磁，所以終極方案係唔再用 HDD ，換晒做 SSD
作者: vsp 時間: 2020-7-18 12:55
我諗未必是raid-6硬碟問題，因我曾用backup碟restore啲files回raid-6度。
kenn 發表於 2020-7-18 11:15
hdd用左幾多年?
hdd有crc做verify唔會出現呢個情況
除非係controller/nas出事
作者: usei 時間: 2020-7-18 13:04
為免 total lost
upload jpeg 上 google photo 做 2nd line backup
16MP 以下無限容量
作者: kenn 時間: 2020-7-18 13:19
回覆 9# usei
I keep mainly RAW files and some TIFF files. Not too many JPG files.
作者: kenn 時間: 2020-7-18 13:39
本帖最後由 kenn 於 2020-7-18 13:45 編輯
回覆 8# vsp
4隻10TB raid-6碟用不多過2年，但數月前試過因換CPU+底板而re-format過成set raid-6 碟，用其中一set backup碟 restore返啲檔案，可能因而出事。亦可能我用FreeFileSync "mirror"途中曾cancel 離開，之後重新"compare" 及 "mirror"。
Corrupted咗嘅raw檔案唔多(在不同folders 內共約數百個檔案) --- 奇怪的是folder內儲有幾百至成千個files, 但只是幾拾個files有事,不是全部有事, 亦有壹個folder內全部都死.
作者: vsp 時間: 2020-7-18 22:39
回覆 vsp
4隻10TB raid-6碟用不多過2年，但數月前試過因換CPU+底板而re-format過成set raid-6 碟，用其 ...
kenn 發表於 2020-7-18 13:39
2年唔會有弱磁問題
如果有弱磁問題會讀唔倒->有bad sector->current pending sector count之類
唯一解釋係logical structure出事或FreeFileSync途中出事或controller出事
行轉chkdsk
作者: harryytm 時間: 2020-7-18 23:23
2年唔會有弱磁問題
如果有弱磁問題會讀唔倒->有bad sector->current pending sector count之類
唯一解釋 ...
vsp 發表於 2020-7-18 22:39
NTFS 唔似 ZFS 咁每個檔案都有 Checksum
檔案嘅 MFT File Record 純粹記錄個檔案嘅數據放咗喺邊個磁區同有幾長
所以行幾多次 chkdsk 都無用
作者: vsp 時間: 2020-7-18 23:50
NTFS 唔似 ZFS 咁每個檔案都有 Checksum
檔案嘅 MFT File Record 純粹記錄個檔案嘅數據放咗喺邊個磁區同有 ...
harryytm 發表於 2020-7-18 23:23
hard disk每4K(以前512bytes)會有一個CRC做data verify
如果無CRC hard disk不懂分辨有否bad secors (0/1)->data integrity
作者: vsp 時間: 2020-7-18 23:57
回覆 13# harryytm
你講的checksum已經係data落到hard disk
如果中間e.g memory error,controller problem寫落hard disk會有data integrity problem
作者: harryytm 時間: 2020-7-19 03:07
本帖最後由 harryytm 於 2020-7-19 03:09 編輯
hard disk每4K(以前512bytes)會有一個CRC做data verify
如果無CRC hard disk不懂分辨有否bad secors ...
vsp 發表於 2020-7-18 23:50
ECC 同 Checksum 係而樣完全唔同嘅野
ECC 可以檢查數據完整性之餘仲具有自我修正嘅能力
而 Checksum 只可以檢查數據完整性
硬碟嘅磁區係有 ECC 但並無 Checksum
硬碟磁碟片上面所記錄嘅磁力記號屬於類比訊號
SSD 嘅 NAND Cell 入面記錄嘅電壓數據都係類比訊號
無論 SSD 嘅 NAND 定硬碟嘅磁碟片所記錄嘅 0 同 1 都無可能完美
所以每個磁區都會靠 ECC 去確保數據完整性
作者: harryytm 時間: 2020-7-19 18:13
上週因需要拿回30幾個幾年前拍的NEF raw 檔案，要從raid-6硬碟中尋回，但發現其中數個檔案已corrupted了。 ...
kenn 發表於 2020-7-18 10:17
建議 FreeFileSync 用 "檔案內容" 嘅比對方式去比對過全部檔案
作者: kenn 時間: 2020-7-19 22:05
回覆 17# harryytm
我無留意比對有得揀，原来我一向都是用"File time and size"方式做比對。 已改正。
謝謝
作者: computer1975 時間: 2020-7-19 22:59
RAM無ECC已經有好大漏洞會有機會出現Error
作者: harryytm 時間: 2020-7-20 02:52
回覆 harryytm
我無留意比對有得揀，原来我一向都是用"File time and size"方式做比對。 已改正。
謝謝 ...
kenn 發表於 2020-7-19 22:05
用 File Content 比對雖然係最安全不過勁慢
多數係 Verify Source 同 Backup 啲 Content 一唔一樣嘅時候先會用
一般用嘅時候多數係用 File time and size 做比對因為快好多
作者: harryytm 時間: 2020-7-20 03:04
本帖最後由 harryytm 於 2020-7-20 03:09 編輯
RAM無ECC已經有好大漏洞會有機會出現Error
computer1975 發表於 2020-7-19 22:59
其實喺 Windows 係有軟件可以直接修改磁區嘅數據
例如 Active@ Disk Editor 直情有個 Hex Editor 比你任改
只要你有 Admin Right 就得
可以成個檔案 Fill 曬 Zero 喺檔案內容照樣睇唔到有比人做過手腳
chkdsk 無問題唔等於啲檔案嘅內容係完整
要確保數據完整最有效方法就只有 Hash 曬所有檔案
作者: Jackywongkk 時間: 2020-7-20 07:59
應該唔關freefilesync 事，係抄寫時data corruption 問題，原因好多，如條線質量，訊號干擾等